II.10Разработка и эксплуатация AI/ML-систем

ark4004/gemma3.8-27B-FP8 — репозиторий на Hugging Face, опубликованный пользователем ark4004. По истории репозитория он является копией Qwen/Qwen3.8-27B-FP8, поэтому название Gemma не подтверждает принадлежность к семейству Gemma. Модель предназначена для диалоговой генерации текста и обработки изображений с текстом: заявлена совместимость с Transformers, vLLM и SGLang, а примеры показывают ответы на текстовые запросы и анализ изображений. Это постобученная мультимодальная модель класса image-text-to-text с заявленным размером 27B параметров и FP8-квантизацией; для исходной Qwen-версии указана fine-grained FP8-квантизация с размером блока 128. Репозиторий распространяется по лицензии Apache-2.0. Точные архитектурные детали, поддерживаемые языки, размер контекстного окна, результаты оценки, сильные стороны и ограничения именно копии ark4004 в доступных данных надежно не указаны, поэтому их нельзя утверждать.

Это мультимодальная GGUF-версия модели OBLITERATUS/gemma-4-E4B-it-OBLITERATED, созданная и квантованная пользователем rdhorner на основе Gemma 4 от Google. Базовая модель представляет собой модифицированную версию gemma-4-E4B-it, обработанную методом OBLITERATUS. Модель предназначена для локального запуска через llama.cpp и совместимые приложения; в метаданных указано около 8 млрд параметров. Модель поддерживает текстовый ввод, изображения и аудио при подключении отдельного файла mmproj, содержащего оба мультимодальных энкодера. Она подходит для диалоговых сценариев, анализа изображений и аудио, использования инструментов и function calling. Поддерживаются OpenAI-совместимые запросы через llama-server, включая tool calls и мультимодальные сообщения. В комплект входят варианты F16, Q8_0, Q5_K_M и Q4_K_M; Q4_K_M рекомендован для локального использования как компромисс между качеством и размером. Для мультимодального режима требуется файл mmproj, а шаблон чата Gemma 4 необходимо включать с параметром --jinja. К сильным сторонам относятся мультимодальность, поддержка вызова инструментов и несколько вариантов квантования для запуска на локальном оборудовании. Модель использует встроенный канал рассуждений Gemma 4, который в OpenAI-совместимых ответах отображается как reasoning_content. При этом модификация OBLITERATED изменила направления отказа в 21 из 42 слоёв, поэтому надёжность вызова инструментов может снижаться в темах, близких к ограничениям безопасности. В README не указаны точный набор поддерживаемых языков и максимальный размер контекста; в примере сервера используется контекст 8192 токена. Модель распространяется по лицензии Apache 2.0, соответствующей лицензии базовой модели.

GLiNER-Multitask Large v0.5 — модель Knowledgator для извлечения заданной пользователем информации из обычного текста. Она использует двунаправленный Transformer-энкодер, похожий на BERT, и поддерживает настройку запросом: типы сущностей или другие сведения для извлечения задаются при работе модели. Модель предназначена для распознавания сущностей и отношений, извлечения ключевых фраз и тональности, поиска ответов в тексте, открытого извлечения информации и выделения предложений для краткого пересказа. Для NER модель показывает результаты, сопоставимые со специализированными моделями в приведённых авторами zero-shot бенчмарках. Для работы требуется библиотека GLiNER; веса доступны в форматах PyTorch и Safetensors. Карточка указывает поддержку английского языка и лицензию Apache-2.0. Размер модели и длина контекста в предоставленных данных не приведены.

GLM-5.3-Flash-MLX-8bit — это квантованная 8-битная сборка модели GLM-5.3-Flash, разработанной организацией zai-org и адаптированной PipeNetwork для MLX на Apple Silicon. Модель относится к классу смесей экспертов (Mixture-of-Experts), имеет 320 млрд параметров, из которых активно используется 18 млрд (320B-A18B). Архитектура включает 34 слоя Kimi-Delta с линейным вниманием и 11 слоёв DeepSeek sparse attention с NoPE MLA и lightning indexer, а также manifold-constrained hyper-connections. Мультитокенная предсказательная прослойка исключена, а vision tower сохранена в формате bfloat16. Модель предназначена для генерации текста и работы с изображениями и текстом; в README указана модальность image-text-to-text. Сборка рассчитана на запуск через MLX и совместимый runtime на компьютерах Apple Silicon. Размер файлов на диске составляет около 334,1 ГБ. Основная масса параметров, включая маршрутизируемых экспертов, квантована в 8 бит с группами по 64 значения; отдельные служебные параметры хранятся в float32, а vision tower — в bfloat16. Языки и размер контекстного окна в README не указаны. Сильной стороной сборки является существенное уменьшение размера по сравнению с исходной версией bfloat16 объёмом около 642,7 ГБ при близком качестве: заявленная perplexity на wikitext-2 составляет 3,4607. Для корректной работы рекомендуется пропатченный runtime из проекта PipeNetwork, поскольку стандартная ветка mlx-vlm содержит расхождения в вычислениях. Модель распространяется по лицензии MIT; в README также указано, что файлы были конвертированы из upstream-релиза и архитектура модели не изменялась.

Keural-Cortex-8B — разговорная модель компании MKD Co., Ltd. из Пусана, Южная Корея, созданная на базе Qwen/Qwen3-8B-Base. Модель содержит 7,6 млрд параметров и поддерживает контекст до 65 536 токенов. Её обучали на корейских текстах, расширяли контекст с помощью YaRN и дообучали на инструкциях и диалогах; веса опубликованы в формате safetensors. Модель предназначена для общения на корейском и английском языках, ответов на вопросы, помощи с текстами и кодом, а также для сценариев с вызовом инструментов. По результатам сравнительных тестов из карточки она достигает заявленной цели по корейскому языку, а по английскому сопоставима с Qwen3-8B-Instruct. При этом у неё есть заметная слабость на тестах с выбором фиксированного ответа, включая задачи на логическое следование и ответы «да/нет»; результаты таких тестов могут недооценивать способность модели отвечать на те же вопросы в обычном диалоге. Модель может уверенно выдавать неверные сведения и не проходила оптимизацию предпочтений. Разработчик не рекомендует использовать её для медицинских, юридических и финансовых советов, сведений о самой MKD Co., Ltd., сценариев, требующих thinking mode, или цепочек зависимых вызовов инструментов без внешнего управления порядком. Лицензия — Apache-2.0.

MLX-квантизированная версия языковой модели Kimi-K2.6, разработанной Moonshot AI (исходная модель — moonshotai/Kimi-K2.6) и преобразованной сообществом mlx-community с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста и локального запуска на компьютерах Apple, прежде всего на Mac Studio с чипом M3 Ultra и 512 ГБ памяти, через библиотеку MLX и инструмент mlx-lm. Ключевая особенность — схема динамической смешанной квантизации DQ3_K_M. Большинство тензоров сохраняется в 8-битном представлении, а экспертные тензоры — в смешанном 3- и 4-битном формате с отдельными участками повышенного качества. Такой подход рассчитан на качество, близкое к 4-битной квантизации, при меньшем размере, чем у стандартной 4-битной версии, чтобы сохранить память для контекстного окна. За это приходится платить небольшим снижением скорости генерации. README не сообщает точный размер модели, архитектуру, максимальную длину контекста, поддерживаемые языки и набор специализированных задач. Для использования требуется установить mlx-lm; запуск предусматривает параметр trust-remote-code. Модель распространяется по лицензии modified-MIT, обозначенной как other. Условия лицензии следует проверять по исходной карточке модели, поскольку README не приводит её полный текст.

LFM2-1.2B — компактная языковая модель, разработанная Liquid AI для работы на периферийных устройствах и локального развертывания. Это плотная авторегрессионная модель семейства LFM2 с 1,1 млрд параметров. Архитектура сочетает 10 блоков коротких свёрток с двойными затворами и 6 блоков группового внимания GQA. Модель принимает текст и генерирует текст; предусмотрены шаблон диалога в стиле ChatML и интерфейс для вызова инструментов. Контекст по метаданным каталога — до 128 000 токенов. Модель рассчитана на многошаговые диалоги, агентные сценарии, извлечение данных, RAG и творческое письмо. Liquid AI заявляет о высокой скорости и экономном использовании памяти на CPU, GPU и NPU, что подходит для смартфонов, ноутбуков и автомобильных систем. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. README рекомендует дообучать модель под узкие задачи и не рекомендует полагаться на неё в задачах, требующих глубоких знаний или навыков программирования. Лицензия обозначена в метаданных как other; конкретные условия следует проверять в репозитории модели.

ZuzeTt/LFM2.5-1.2B-Instruct-imatrix-GGUF — квантованный вариант текстовой instruct-модели LFM2.5-1.2B-Instruct, разработанной Liquid AI; репозиторий ZuzeTt основан на базовой модели LiquidAI/LFM2.5-1.2B-Base. Модель предназначена для локального и периферийного развертывания, включая agentic-задачи, извлечение данных, RAG и общее следование инструкциям. Формат GGUF ориентирован на llama.cpp и совместимые инструменты, CPU-инференс и снижение потребления памяти. Модель содержит 1,17 млрд параметров, 16 слоёв: 10 double-gated LIV convolution blocks и 6 GQA blocks. Она поддерживает только текстовые данные, контекст до 32 768 токенов и языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Заявлены скорость декодирования до 239 токенов в секунду на AMD CPU и 82 токенов в секунду на мобильном NPU, а также работа менее чем с 1 ГБ памяти; эти показатели зависят от оборудования и конфигурации. Сильные стороны модели — малый размер, высокая скорость локального инференса, многоязычность, поддержка ChatML-подобного шаблона и function calling. Модель не рекомендуется для задач, требующих обширных фоновых знаний, и программирования; дата отсечения знаний — середина 2024 года. Указана лицензия lfm1.0; дополнительные условия следует уточнять в файле LICENSE.

tjake/Llama-3.2-1B-Instruct-JQ4 — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta. Она предназначена для диалогов в формате помощника и агентных сценариев, включая поиск знаний, суммаризацию, помощь при написании текстов и переформулирование запросов. Модель использует авторегрессионную архитектуру Transformer с 1,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README указано, что модель прошла supervised fine-tuning и обучение с обратной связью от людей; репозиторий содержит веса в формате safetensors. Указанная лицензия — Llama 3.2 Community License, специальное лицензионное соглашение, допускающее коммерческое и исследовательское использование при соблюдении его условий и Acceptable Use Policy. Компактный размер рассчитан, в частности, на запуск в ограниченных средах, включая мобильные устройства. По сравнению с более крупными моделями у неё могут быть слабее качество ответов и профиль безопасности; разработчикам следует проверять пригодность и защитные меры для своего сценария. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года.

Llama-3-Swallow-8B-v0.1 — плотная причинная языковая модель семейства Llama 3, разработанная командой Swallow-LLM из Токийского технологического института и AIST. Модель размером 7,5 млрд параметров создана продолжительным предварительным обучением модели семейства Llama 3 с добавлением японских данных; это базовая, не Instruct-версия. Репозиторий использует формат safetensors, а метаданные указывают на Transformers и контекст до 8192 токенов. Модель предназначена для генерации текста на японском и английском языках, включая ответы на вопросы, понимание прочитанного, суммаризацию, перевод, математические рассуждения и генерацию кода. В README приведены результаты оценки на японских и английских бенчмарках, в том числе задачах перевода, экзаменационных вопросах и программировании. Авторы отмечают, что модель находится на раннем этапе разработки и не настроена на соответствие человеческим намерениям и требованиям безопасности. Лицензия — Llama 3 (llama3); перед использованием следует соблюдать её условия.

Minerva-7B-instruct-v1.0 — диалоговая языковая модель Sapienza NLP, созданная в рамках проекта FAIR при сотрудничестве с CINECA и участии Babelscape и проекта CREATIVE PRIN. Это дообученная версия Minerva-7B-base-v1.0 на архитектуре Mistral с 7,2 млрд параметров и контекстом до 4096 токенов. Семейство Minerva предварительно обучалось с нуля на итальянских и английских текстах; в составе данных также был код. Версия instruct прошла настройку инструкциями и оптимизацию предпочтений DPO. Модель предназначена для диалога и генерации текста: она может отвечать на вопросы, объяснять темы, помогать с рассуждениями и решать задачи по коду. В первую очередь она рассчитана на итальянский и английский языки. Разработчики предупреждают, что ответы могут содержать фактические ошибки, стереотипы, оскорбительный или иной нежелательный контент, а также быть нерелевантными или повторяющимися. Лицензия — Apache-2.0.

Это BF16-версия модели Kimi-K2-Thinking, подготовленная автором DevQuasar-2 из исходной INT4-модели moonshotai/Kimi-K2-Thinking с помощью собственного скрипта деквантизации, вдохновлённого скриптом для DeepSeek V3. В метаданных архитектура обозначена как dense, с классом DeepseekV3ForCausalLM; заявлено 37,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для диалоговой генерации текста.

Occiglot-7B-it-en-Instruct — генеративная языковая модель Occiglot Research Collective, дообученная следовать инструкциям и поддерживать диалог. Это плотный decoder-only трансформер Mistral с 7,1 млрд параметров; модель принимает текст и имеет контекст до 32 768 токенов. Карточка описывает поддержку английского и итальянского языков, а также кода; обучение включало многоязычные и программные инструкции, а взаимодействие рассчитано на шаблон ChatML. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, генерации текста и помощи с кодом на английском и итальянском. Это ранний выпуск исследовательского проекта, обученный на дополнительных инструкционных данных; приведённые оценки названы предварительными, а неанглоязычные результаты ограничены особенностями тестовых наборов. Модель не прошла safety alignment и может выдавать проблемный контент. Лицензия — Apache 2.0.

Qwen3.5-Thinking-AIO-GGUF — экспериментальная серия мультимодальных моделей, созданная prithivMLmods на основе моделей Alibaba Qwen3.5. В репозитории представлены варианты Unredacted MAX с размером 0,8B, 2B, 4B и 9B параметров в формате GGUF; README также упоминает вариант 27B, но подробности его файлов в каталоге не приведены. Модели предназначены для генерации текста, рассуждений, программирования, математических задач и работы с изображениями, а также для локального запуска через llama.cpp и совместимые инструменты. Заявлены гибридная архитектура Gated DeltaNet, контекст до 262 144 токенов, словарь на 201 язык и переключаемые режимы рассуждений. Для мультимодальной работы доступны отдельные файлы mmproj, а для разных требований к памяти предусмотрены варианты F32, BF16, F16 и Q8_0. Малые версии ориентированы на периферийные устройства и системы с ограниченными ресурсами, более крупные — на повышение качества ответов и сложные задачи. Ключевая особенность серии — так называемая abliteration: автор заявляет минимизацию отказов и удаление стандартных защитных ограничений при сохранении или улучшении возможностей рассуждения. Это может быть полезно для исследовательских задач, создания датасетов и сценариев, где требуется более свободное следование инструкциям, но одновременно повышает риски небезопасных или нежелательных ответов. Модели экспериментальные, официальные оценки производительности не представлены, а заявления о превосходстве над исходными моделями основаны на неподтверждённых community-бенчмарках. Распространение указано по лицензии Apache-2.0.

JANGQ-AI представляет JANGTQ4 — квантованную версию мультимодальной модели Qwen3.6-35B-A3B, подготовленную для MLX и Apple Silicon. Модель предназначена для диалогов, анализа изображений и агентных сценариев; поддерживает интерфейс вызова инструментов. В исходной модели 35 млрд параметров, около 3 млрд активируются на токен. Архитектура MoE сочетает 30 слоёв Gated DeltaNet с линейным вниманием и 10 слоёв полного внимания, а также 256 маршрутизируемых экспертов и одного общего эксперта. В JANGTQ4 веса маршрутизируемых экспертов сжаты до 4 бит методом TurboQuant с кодовыми книгами Lloyd–Max и преобразованием Адамара; ряд остальных компонентов хранится в 8-битном формате, а башня зрения сохранена. Репозиторий использует safetensors и библиотеку MLX. Для загрузки квантованных тензоров требуется специальный загрузчик JANG Tools; стандартный mlx_lm.load() их не поддерживает. README указывает, что для видео в MLX-пути нужна собственная обёртка, а для основного mlx-vlm рекомендуется ограничиться изображениями. Лицензия — Apache-2.0.

Qwen3.8-27B-NInfer — мультимодальная модель для генерации текста и работы с изображениями, основанная на Qwen3.8-27B от команды Qwen. Версия подготовлена разработчиком Neroued и преобразована в нативный формат артефактов NInfer с расширениями для Vision, MTP и спекулятивного декодирования DFlash2. Модель предназначена для диалогов, текстовой генерации, рассуждений, решения математических и научных задач, а также анализа изображений и визуальных вопросов. В карточке заявлены высокие результаты на IFBench, AIME 2025 и 2026, GPQA-Diamond, ERQA и RealWorldQA. Артефакт содержит квантизированные Q4/Q5-проекции, а эмбеддинги токенов и выходная голова используют q8_g32_fp16; размер файла составляет около 19,03 ГиБ. Поддерживаются текстовые и визуальные входы, а также видео согласно руководству NInfer. В примерах запуска указан контекст до 240 000 токенов, однако конкретные возможности зависят от конфигурации среды. Модель рассчитана на локальный запуск через NInfer и требует 64-разрядный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a, CUDA Toolkit 13.1 или новее и сборку NInfer не ниже указанной в карточке. Файл не является совместимым с Transformers, Safetensors или GGUF. Использование ограничено форматом NInfer и специализированным оборудованием, поэтому переносимость ниже, чем у универсальных моделей. Лицензия — Apache-2.0.

Qwen3.8-27B-OBLITERATED — производная текстовая генеративная модель, опубликованная пользователем bniler2 на базе Qwen/Qwen3.8-27B. Она относится к семейству Qwen3 и предназначена для генерации текста, программного кода и ответов на запросы, включая запросы, на которые исходная модель могла отвечать отказом или отвлечёнными предупреждениями. Модель ориентирована на исследовательские, red-team- и агентные сценарии, а также на локальный запуск в форматах GGUF, SafeTensors и MLX. Заявлены размер 27 млрд параметров и совместимость с режимом рассуждений Qwen3. В README рекомендуются температура 0, repetition_penalty 1.15 и не менее 2048 новых токенов; для агентных сценариев предлагаются более короткие ответы и периодическое суммирование контекста. Размер контекстного окна и перечень поддерживаемых языков не указаны. Для V3 заявлены показатель MMLU 82,3% в тесте lm-eval 0-shot, близкая к исходной модели производительность и полноценные ответы на тестовые задачи генерации кода, однако эти результаты приведены автором модели и не подтверждены независимой проверкой. Главная особенность модели — удаление или ослабление отказов и защитных ответов методом abliteration с последующей итеративной доработкой и смешиванием вариантов. Это может повысить полезность в задачах анализа безопасности и генерации кода, но одновременно снижает встроенные механизмы безопасного поведения и может привести к выдаче рискованного или вредоносного содержания. По сравнению с исходной моделью заявлено снижение MMLU на 2,1 процентного пункта. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие встроенного отказного поведения. Заявлена поддержка английского, китайского и других языков. Для изображений и видео используется отдельный vision projector в формате BF16. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохраняется встроенный MTP/NextN, а дополнительный профиль HauhauCS FastMTP предназначен для ускорения спекулятивного декодирования. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Доступны квантизированные варианты от Q8_K_P до IQ2_M. Сильные стороны модели — широкий набор текстовых, мультимодальных, reasoning- и agentic-сценариев, большой контекст и варианты оптимизированного квантования K_P, рассчитанные на сохранение качества при уменьшенном размере. Ограничения включают потенциальные риски uncensored-поведения, отсутствие отказов на опасные запросы и необходимость отдельного vision projector для изображений и видео. В README не приведены независимые результаты оценки качества. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа. Это плотная языковая модель на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя, размер скрытого состояния 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются английский, китайский и другие языки; заявлены текстовая, визуальная и видеомодальности. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Для обработки изображений и видео требуется отдельный vision projector в формате BF16. Модель сохраняет встроенный механизм NextN/MTP исходной Qwen3.8 и дополнительно поставляется с профилем ускорения HauhauCS FastMTP 32K, совместимым с различными текстовыми квантованиями. Доступны варианты от Q2 до Q8, включая специализированные K_P-кванты, оптимизированные для сохранения качества при уменьшенном размере. Ограничения включают значительные требования к памяти, зависимость визуального ввода от отдельного проектора и потенциальные риски некорректных или небезопасных ответов из-за uncensored-профиля; для критически важных длинноконтекстных агентских задач README рекомендует более сбалансированный вариант, если он доступен.

KasugaiSakura/Qwen3.8-27B-Uncensored-JonathanColetti-GGUF — это набор GGUF-квантизаций модели Qwen/Qwen3.8-27B, опубликованный KasugaiSakura. Вариант модифицирован с помощью Heretic для существенного снижения отказов в ответах; дополнительное обучение и новые данные не использовались, а основные возможности, обучающие данные и архитектура унаследованы от базовой модели. Модель предназначена для генерации текста и запуска через совместимые среды, включая llama.cpp, а также поддерживает обработку изображений при использовании vision-проектора и совместимого runtime. Архитектура обозначена как Qwen3_5ForConditionalGeneration и включает 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер файлов составляет примерно от 10,6 до 29 ГБ. Сохранён MTP-head для speculative decoding, позволяющий ускорять генерацию, а опубликованные варианты включают как объединённые файлы, так и отдельные target/draft-модели. Заявлены языки English и Chinese. Сильными сторонами являются большой контекст, поддержка текста и изображений, широкий выбор уровней квантизации и возможность ускоренной генерации с MTP. Поведение отказов существенно ослаблено, но не устранено полностью; это может быть полезно для менее ограниченных сценариев, однако не означает отсутствия механизмов безопасности. Качество и требования к памяти зависят от выбранной квантизации: IQ2_M занимает меньше памяти, но показывает заметно более высокую perplexity, тогда как варианты от IQ4_XS и выше ближе к исходной точности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-RadixArk-NVFP4-Hybrid-Sharp — мультимодальная модель для задач text-to-text и image-text-to-text, опубликованная в репозитории travelinlance на основе Qwen3.8-Flash-Next от Qwen и NVFP4-квантизированной сборки RadixArk. Модель предназначена для диалогов, генерации текста и обработки запросов с изображениями при использовании специализированного стека обслуживания. Это примерно 176-миллиардная MoE-модель с маршрутизируемыми экспертами. Основная часть весов хранится в формате NVFP4 W4A4, а около 300 тензоров в слоях внимания и общих экспертах преобразованы в блочный FP8 E4M3. Такой гибридный формат уменьшает объём данных, считываемых при генерации, и, по заявленным измерениям, повышает скорость генерации примерно на 20% без ухудшения контрольных оценок. Встроенный Sharp chat template сокращает объём ответов; в тесте он дал на 18% меньше выходных токенов. Для запуска требуется патченный образ vLLM ghcr.io/lancelind/qwen38-flash-dgx с поддержкой смешанного FP4/FP8-формата и настройками VLLM_FP8_HYBRID=1; стандартные vLLM и SGLang эту сборку загрузить не могут. Модель рассчитана прежде всего на NVIDIA DGX Spark с GB10 и 128 ГБ памяти, где используется таблица размером 44 ГиБ, доступная напрямую с диска. Точные поддерживаемые языки и размер контекстного окна в представленном README не указаны. Лицензия обозначена как qwen-community-1.0; применимые условия следует уточнять в файле LICENSE.

Qwerus-7B — языковая модель на 7,1 млрд параметров, созданная mlabonne слиянием моделей PRIME-RL/Eurus-2-7B-PRIME и Qwen/Qwen2.5-7B-Instruct методом DARE-TIES. Она предназначена для диалогов и генерации текста, в том числе для задач рассуждения и решения математических задач. Модель основана на архитектуре Qwen2, принимает текст и выдаёт текст; заявленный контекст составляет 131 072 токена. В метаданных также указана возможность работы через интерфейс вызова инструментов. Карточка приводит результаты оценки на AIME 2024 и MATH-500; в этих тестах Qwerus-7B показала более низкие значения, чем Qwen2.5-7B-Instruct. Поддерживаются китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Модель распространяется под лицензией MIT.

SUS-Chat-34B — двуязычная диалоговая модель на 33,9 млрд параметров, совместно выпущенная Южным университетом науки и технологий и IDEA-CCNL. Это плотная модель семейства LLaMA, дообученная на базе 01-ai/Yi-34B на высококачественных инструкциях; веса доступны в формате PyTorch по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям на китайском и английском языках, включая многошаговые запросы, математику, рассуждения и задачи общего назначения. Контекстное окно составляет 8192 токена; карточка сообщает о специальном обучении для многоходовых диалогов и работы с длинным контекстом. Разработчики приводят результаты тестов на задачах знаний, рассуждений и здравого смысла, однако модель прошла только supervised fine-tuning и не обучалась на человеческих предпочтениях. Поэтому ответы могут содержать галлюцинации и ошибки, а качество зависит от настроек генерации.

GPT-OSS-Swallow 120B RL v0.1 — японско-английская языковая модель TokyoTech-LLM, дообученная на основе GPT-OSS-Swallow-120B-SFT-v0.1 с применением обучения с подкреплением по проверяемым наградам. Это разреженная MoE-модель для диалогов и генерации текста; заявленный размер — 2,1 млрд параметров, контекстное окно — до 131 072 токенов. В обучении уделено внимание японскому и английскому языкам, математике, программированию и рассуждениям. Модель подходит для двуязычного общения, перевода между японским и английским, решения математических задач, помощи с кодом и ответов на общие вопросы. Разработчики сообщают о сохранении и улучшении математических и программных навыков относительно исходной GPT-OSS. Хотя технически поддерживается контекст до 131 072 токенов, модель не обучалась и не оценивалась на задачах с контекстом свыше 32 тысяч токенов; для стабильности рекомендуется reasoning effort medium. Использование инструментов явно не обучалось, поведение при вызове функций и самоидентификации не подтверждено. Модель выпущена под лицензией Apache-2.0.

granite-4.2-30b-MLX-8bit — это 8-битная квантованная версия языковой модели granite-4.2-30b, разработанной ibm-granite. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon в экосистеме MLX. Модель предназначена для генерации текста и поддерживает сценарии рассуждения, диалогового взаимодействия и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель относится к семейству Granite и имеет размер исходной модели 30B параметров; сведения о точной архитектуре, размере контекста и поддерживаемых модальностях, кроме текстовой генерации, не приведены. Ключевые преимущества этой версии — снижение требований к памяти по сравнению с полной точностью и оптимизация для Apple Silicon. Ограничения включают возможную потерю качества из-за 8-битного квантования, зависимость производительности от аппаратного обеспечения Apple Silicon и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Locutusque разработала Hyperion-3.0-Mixtral-3x7B — экспериментальную языковую модель с архитектурой Mixture of Experts на базе Mixtral. По карточке, в ней объединены три экспертные модели, предназначенные для научных и математических задач, программирования, открытых вопросов, суммаризации и ролевых диалогов. На каждом токене активируются два эксперта; общий размер модели по метаданным — 7,1 млрд параметров, длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст на английском языке. Это ранний прототип для исследований и экспериментов: автор предупреждает, что качество может быть неоптимальным и модель не подходит для критически важных задач. Указано, что экспертные модели ещё не опубликованы, поэтому полная сборка и оценка модели могут быть недоступны. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

coder3101/LFM2.5-350M-heretic — декензурированная версия LFM2.5-350M от Liquid AI, созданная автором репозитория с помощью Heretic v1.3.0. Это компактная плотная языковая модель для генерации текста и диалогов, рассчитанная на локальное и периферийное выполнение. По карточке исходная архитектура включает 16 слоёв: блоки свёрток LIV и GQA; модель принимает только текст и поддерживает контекст до 128 000 токенов согласно метаданным. Она предназначена для извлечения данных, структурированных ответов и работы с инструментами. В README сравнение с исходной моделью показывает 6 отказов из 100 против 90 из 100 у оригинала. Модель поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. README исходной модели указывает 350 млн параметров, тогда как метаданные этой версии — 444,6 млн. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Программирование и задачи, требующие обширных знаний, для исходной модели не рекомендуются; показатели производительности исходной модели не следует автоматически считать проверенными для этой версии. Лицензия обозначена как other, поэтому условия использования следует уточнить в карточке репозитория.

LFM2.5-8B-A1B-Uncensored-Gaston-GGUF — модифицированная GGUF-версия модели Liquid AI LFM2.5-8B-A1B, подготовленная Gastón Parravicini. Это текстовая reasoning-модель для диалогов и генерации текста, ориентированная на локальный запуск через llama.cpp, Ollama и совместимые инструменты. Вариант получил abliteration для существенного снижения отказов от ответов при сохранении рассуждений и общих возможностей базовой модели. Модель использует гибридную архитектуру из свёрточных LIV-блоков, Grouped Query Attention и разреженного MoE: всего около 8,3 млрд параметров, из которых примерно 1,5 млрд активны на каждом токене; задействованы 32 эксперта, четыре из них выбираются для токена. Заявлено контекстное окно 128K, обучение на 38 трлн токенов и поддержка английского, испанского, французского, немецкого, китайского, японского, корейского и арабского языков. Доступны квантизации IQ4_XS, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16; Q4_K_M рекомендована как компромисс между качеством и размером. Сильными сторонами являются высокая скорость, компактное активное число параметров, сохранённый режим рассуждений с тегами <think> и заявленная частота отказов 1% на AdvBench после модификации. Ограничение модели — нестандартная гибридная архитектура, из-за которой обычные инструменты abliteration несовместимы без специальной адаптации. Версия предназначена для сценариев, где требуется меньше ограничений на генерацию, поэтому её ответы следует дополнительно проверять на безопасность и достоверность. Указана лицензия lfm-open-license-v1 от Liquid AI; подробные условия приведены по ссылке на лицензию базовой модели.

YoungXuan/Llama-3.1-8B-NHS — продолжительно предобученная модель генерации текста на основе Meta Llama 3.1 8B с методом TTT-NTP: во время тестирования она обновляет быстрые веса в отдельных проекциях MLP, используя предсказание следующего токена. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает контекст длиной до 131 072 токенов. Модель предназначена для генерации текста и улучшения извлечения связанных фактов из длинного контекста. В оценке RULER автор сообщает средний результат на 11,96 пункта выше базовой Llama 3.1 8B; улучшения сосредоточены на ассоциативном поиске по нескольким ключам и значениям, при этом на некоторых заданиях наблюдались ухудшения. Оценка проведена с одним seed, поэтому результаты требуют осторожной интерпретации. Для загрузки через Transformers требуется включить trust_remote_code, поскольку реализация TTT находится в коде репозитория. Формат весов — safetensors; лицензия — llama3.1.

rinna/llama-3-youko-8b-instruct — диалоговая языковая модель компании rinna на архитектуре Llama 3, созданная на основе Llama 3 Youko 8B. Модель содержит около 7,5 млрд параметров, использует плотный 32-слойный трансформер и контекст до 8192 токенов. Она обучена следовать инструкциям и работает в формате чата Llama 3. Модель предназначена для генерации ответов и диалога на японском и английском языках. Обучение включало supervised fine-tuning, добавление chat vector и direct preference optimization на наборах данных с японскими и английскими диалогами, а также примерами математики и кода. Для генерации разработчики рекомендуют repetition_penalty=1.1: без этой настройки модель чаще повторяет текст. Весовые файлы опубликованы в формате safetensors. Лицензия — llama3; использование регулируется условиями лицензии Meta Llama 3.