II.2Создание и понимание программного кода

Модель beki/flair-pii-distilbert — модель распознавания именованных сущностей для выявления персональных данных в англоязычном тексте. Разработчик обучил её в Flair на трассировках протоколов, сгенерированных набором Privy; для представлений токенов используются эмбеддинги DistilBERT. Модель размечает пять классов сущностей, включая имена людей, названия мест и организаций. Модель предназначена для поиска и разметки PII в тексте, например при проверке журналов протоколов. В README приведён показатель F1 0,9522. Репозиторий содержит веса PyTorch и распространяется по лицензии MIT. Указанная в карточке совместимость пакета spaCy — версии от 3.4.1 до 3.5.0.

Jupiter-N-120B — дообученная Locai Labs языковая модель на базе NVIDIA Nemotron-3-Super-120B-A12B. Она предназначена для диалога, следования инструкциям, агентных задач и работы с терминальными сценариями; дообучение усиливает эти возможности и добавляет поддержку валлийского языка и культурную привязку к Великобритании. Модель использует гибридную архитектуру Nemotron-H/LatentMoE с Mamba-2, MoE и attention, а также Multi-Token Prediction. В карточке указано 6,6 млрд параметров, а для базовой модели — 120 млрд параметров, из которых активны 12 млрд. Контекст — до 262 144 токенов. Основные языки карточки — английский, французский, испанский, итальянский, немецкий, японский и китайский; README отдельно отмечает добавленную поддержку валлийского. Модель подходит для задач, где нужны следование сложным инструкциям, агентные действия и терминальные траектории, а также ответы с учётом британского культурного контекста. Лицензия указана как other; условия следует проверять в карточке и материалах модели. Валлийские ответы не прошли обширную проверку носителями языка, культурная привязка не подтверждена человеческой оценкой, а валлийские тесты основаны на адаптированных англоязычных бенчмарках.

Ethualo дообучил компактную плотную языковую модель Kanana2 Tiny на базе kakaocorp/kanana-2-1.3b-instruct. Модель предназначена для генерации текста и диалогов; в метаданных также отмечен интерфейс вызова инструментов. Она содержит около 1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. При дообучении использовались Unsloth и библиотека Hugging Face TRL. Модель распространяется по лицензии Apache-2.0.

Kimi-Linear-48B-A3B-Base — базовая языковая модель Moonshot AI с архитектурой Kimi Linear и разреженной смесью экспертов. В карточке указаны 48 млрд параметров всего и около 3 млрд активируемых параметров; метаданные каталога отдельно приводят 2,7 млрд параметров. Модель использует гибридное внимание Kimi Delta Attention и MLA с соотношением 3:1 и предназначена для генерации текста, включая диалоги и задачи с длинным контекстом. Заявленная длина контекста — до 1 млн токенов. Архитектура нацелена на эффективную работу с длинными последовательностями: в README заявлены сокращение KV-кэша до 75% и ускорение декодирования до 6 раз в некоторых сценариях. Это базовая версия, поэтому для диалога и следования инструкциям может потребоваться дополнительная настройка. Указана лицензия MIT.

Карточка модели Enronld/llama3.1 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B, поэтому описание составлено по ней. Meta Llama 3.1 8B — авторегрессионная языковая модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Это базовая предварительно обученная версия семейства Llama 3.1; веса представлены в формате Safetensors и предназначены для генерации текста и последующей адаптации под разные задачи. Модель принимает текст и генерирует текст. Модель подходит для генерации естественного языка, создания диалоговых и прикладных систем после настройки, а также для подготовки синтетических данных. В карточке семейства заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для этой базовой версии README не заявляет оптимизацию под диалоговые сценарии: она отличается от instruction-tuned вариантов, которые обучались с SFT и RLHF. Разработчик — Meta. Для использования действует специальная коммерческая лицензия Llama 3.1 Community License и Acceptable Use Policy. Модель обучена на статическом наборе данных; качество и безопасность генерации могут различаться между языками, а применение на языках за пределами восьми заявленных требует дополнительной настройки и мер контроля.

MaziyarPanahi/Llama-3-8B-Instruct-v0.8 — инструктивная разговорная модель семейства Llama 3, разработанная MaziyarPanahi на основе MaziyarPanahi/Llama-3-8B-Instruct-v0.4. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и 7,5 млрд параметров, предназначенная для генерации текста и диалогов. Она принимает текстовые запросы в формате ChatML и рассчитана на контекст до 8192 токенов. Модель подходит для чат-ботов, ответов на вопросы, следования инструкциям и других задач генерации текста. В README приведены результаты оценивания на Open LLM Leaderboard, но они не гарантируют качество на конкретных пользовательских задачах. В метаданных указан английский язык. Модель доступна в формате safetensors; README также ссылается на отдельную сборку GGUF. Лицензия обозначена как other, поэтому условия использования следует уточнить по карточке модели и связанным лицензионным материалам.

Это GGUF-квантизация модели gemma-3-4b-it-abliterated, разработанной mlabonne и подготовленной пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp, включая диалоговые сценарии и задачи преобразования текста и изображений в текст. Модель содержит около 4 миллиардов параметров и поддерживает мультимодальный режим с обработкой изображений. Для работы с изображениями требуется отдельный файл mmproj в формате F32 или F16. В README не указаны точные языки и размер контекстного окна. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и Q4-квантизаций; рекомендуются Q6_K_L, Q6_K, Q5 и Q4_K_M в зависимости от требований к качеству и объёму памяти. Меньшие варианты подходят для систем с ограниченной оперативной памятью, но могут заметнее уступать по качеству. Формат GGUF упрощает локальный запуск и позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Ограничения модели, включая возможное снижение качества на низких уровнях квантизации и необходимость отдельного vision-проектора для изображений, следует учитывать при развёртывании. Лицензия указана как gemma; дополнительные условия использования в README не раскрыты.

Это набор GGUF-квантизаций модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем mistrjirka с использованием форматов PXA/PXQ. Модель имеет около 9 млрд плотных параметров, архитектуру qwen35 и нативный контекст до 262 144 токенов. Она предназначена для генерации и анализа текста, а исходная модель также поддерживает обработку изображений при наличии совместимого мультимодального проектора, который в этом репозитории не поставляется. Доступны варианты с разной степенью сжатия: от PXQ2 и PXQ3 до рекомендованного PXQ4, повышающего качество PXQ4-HQ и ориентированного на качество PXQ6. Чем выше уровень, тем больше размер файла и потенциально выше точность, тогда как PXQ2 и PXQ3 рассчитаны на ограниченные ресурсы и сильнее жертвуют качеством. Преимуществами являются большой контекст и выбор компромисса между размером, качеством и скоростью декодирования. Ограничение заключается в использовании нестандартных PXQ-типов тензоров: обычные сборки llama.cpp без их поддержки, как правило, не загрузят файлы. Требуется PXA или специальная ветка mistrjirka/llama.cpp; оптимизация в первую очередь ориентирована на GPU NVIDIA Pascal и Volta, а поддержка более новых архитектур может использовать общие, менее специализированные пути. Указана лицензия MIT.

sayhan/Qwen1.5-72B-Chat-LLaMAfied — версия Qwen1.5-72B-Chat от Alibaba Cloud, преобразованная в формат архитектуры LLaMA с помощью скрипта Minami-su. Это плотная языковая модель примерно на 71 млрд параметров для генерации текста в диалогах и других сценариях работы с текстом. Она принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В карточке указаны английский и китайский языки, а формат файлов — PyTorch. Модель размещена под лицензией other; конкретные условия следует сверить с исходной лицензией Qwen1.5 и карточкой репозитория.

FreedomAISVR/Qwen3.5-4B-Instruct-MTP-NVFP4-GGUF — квантизированная в NVFP4 версия мультимодальной инструкционной модели Qwen3.5-4B, подготовленная FreedomAISVR в формате GGUF для запуска через llama.cpp. Модель содержит около 3,97 млрд параметров, использует гибридную архитектуру Gated DeltaNet, Gated Attention и FFN, поддерживает MTP (Multi-Token Prediction) и контекст до 262 тысяч токенов. В репозитории также есть проектор изображений в F16; заявлена возможность расширения контекста до 1 млн токенов. Модель предназначена для диалога и генерации текста по инструкциям, рассуждений и понимания изображений. Шаблон чата изменён: рассуждения выключены по умолчанию и включаются параметром enable_thinking=true. NVFP4 снижает размер весов для совместимых NVIDIA Blackwell GPU; для мультимодального ввода требуется отдельный файл проектора. Это производная модель от Qwen/Qwen3.5-4B, а не новая базовая разработка. Лицензия — Apache-2.0.

Qwen3.5-9B-Uncensored-Genesis-NVFP4-GGUF — квантизированная NVFP4-версия модели Qwen3.5-9B-Uncensored-Genesis, подготовленная автором репозитория на основе весов LuffyTheFox/Qwen3.5-9B-Uncensored-Genesis-BF16-GGUF с помощью модифицированного квантайзера для GGUF. Это плотная мультимодальная модель семейства Qwen3.5 на 9,22 млрд параметров и 32 слоя; для обработки изображений требуется отдельно использовать неизменённый файл мультимодальной проекции из исходного репозитория. В карточке указан контекст 262 144 токена. Модель предназначена для диалогов, рассуждений, работы с инструментами и задач «изображение–текст», а вариант imatrix v6 калибровался на разговорах, включая примеры вызова инструментов. В репозитории также есть варианты без калибровки и с текстовой калибровкой v5; автор рекомендует v6 для чата, рассуждений и вызова инструментов, а v5 — для обычного продолжения текста. Модель поддерживает английский и китайский языки. Лицензия — Apache-2.0. Карточка не приводит измерений perplexity или KLD для квантованных вариантов, поэтому качество относительно исходных BF16-весов не подтверждено такими метриками; для обработки изображений нужен отдельный файл проекции, а скорость NVFP4 зависит от видеокарты и сборки llama.cpp.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-i1-GGUF — квантизированная GGUF-версия модели hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная mradermacher. Модель основана на архитектуре Qwen3.6 с разреженной MoE-структурой и заявленным размером 35B параметров; активная конфигурация обозначена как A3B. Обучение или дистилляция связаны с наборами данных, содержащими примеры рассуждений и ответов Claude Opus, а также Qwen reasoning-данные. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих рассуждений. В README она также обозначена как vision model и image-text-to-text модель, поэтому может поддерживать обработку изображений вместе с текстом при наличии соответствующего mmproj-файла. Заявлен английский язык; сведения о длине контекста, точной поддержке других языков, результатах тестирования и рекомендуемых параметрах запуска отсутствуют. Главное преимущество — сочетание reasoning-направленности, MoE-архитектуры и большого набора вариантов квантизации, позволяющих выбирать компромисс между размером, скоростью и качеством. При этом низкобитные варианты могут заметно терять в качестве: для некоторых файлов README прямо указывает на очень низкое или сниженное качество. Модель распространяется под лицензией Apache-2.0; конкретные условия использования базовой модели и датасетов отдельно не раскрыты.

Nickyang выпустил производную версию Qwen3.6-35B-A3B, созданную методом RAZOR — без градиентного дообучения удалена половина маршрутизируемых экспертов в каждом MoE-слое. В модели оставлено 128 из 256 экспертов на слой; размер составляет 19,4 млрд параметров, или 19,0 млрд без модуля MTP, при примерно 3 млрд активных параметров на токен. Остальные веса, включая внимание, общий эксперт, эмбеддинги, языковую голову и оставшиеся строки маршрутизатора, сохранены. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Она использует архитектуру Qwen3.5 MoE и формат safetensors с весами bfloat16. Для запуска требуется версия Transformers со встроенной поддержкой qwen3_5_moe. README не сообщает контекстное окно и языковой охват этой производной модели. Удаление экспертов сокращает объём хранимых экспертных весов, сохраняя примерно прежние вычисления на токен. Обрезка с потерями: ответы могут отличаться по разнообразию, форматированию и завершению, даже если точность на задачах в основном сохраняется; поведение вне конечного многодоменного калибровочного набора не охарактеризовано. Лицензия — Apache-2.0.

Это квантованная сборка Qwen3.8-Flash-Next от ghost-actual на основе объединённой модели orcarouter/Qwen3.8-Flash-Next-Uncensored и Qwen/Qwen3.8-Flash-Next. Сборка в формате EXL3 с эффективной разрядностью около 2,5 бит на вес предназначена для запуска MoE-модели на одной видеокарте с 24 ГБ памяти, используя выгрузку экспертов в оперативную память процессора. Веса занимают около 41,5 ГБ, а вместе с таблицей n-грамм артефакт — около 61 ГБ; для запуска также требуется примерно 59 ГБ оперативной памяти и быстрый NVMe-накопитель. Модель предназначена для диалоговой генерации текста, рассуждений и анализа изображений, включая распознавание текста на изображениях. В ней сохранены vision tower, MTP-голова, таблица PLE n-грамм и контекст до 262 144 токенов. Это сборка с удалённым направлением отказов: она может отвечать на запросы, которые исходная модель отклонила бы, поэтому у неё отсутствует соответствующий уровень защитного выравнивания. Агрессивная квантизация может снижать точность, особенно при сложном извлечении фактов; автор проверил несколько примеров, но не запускал широкие оценки качества. README указывает лицензионные условия Qwen, однако конкретный тип лицензии в метаданных обозначен как other.

Qwopus3.8 27B Flash MXFP4 Vision MTPLX — это релиз для Apple Silicon на базе модели Jackrong/Qwopus3.8-27B-Flash, подготовленный Shiftedx с использованием MLX и MTPLX. Модель предназначена для генерации текста и обработки изображений с текстовыми инструкциями, включая мультимодальные сценарии и локальное развертывание через OpenAI-совместимый endpoint. Текстовая часть представлена в формате MXFP4, а vision tower и native MTP sidecar сохранены в формате BF16. Sidecar имеет глубину 3 и предназначен для speculative decoding, ускоряющего генерацию. В README заявлена поддержка английского, китайского, испанского, русского и японского языков. Точный размер контекста и подробная архитектура не указаны. В комплект входят tokenizer, processor, vision-веса, chat template и runtime-контракт MTP. Сильными сторонами являются сочетание мультимодальности, MXFP4-квантизации для текстовой части и ускоренной генерации на совместимом оборудовании. В локальной квалификации на M4 Max 64 GB заявлены скорости 26,43 токена в секунду для обычной авторегрессивной генерации и 56,74 токена в секунду с MTP глубины 3, однако это результаты одного узкого теста и не универсальный бенчмарк. Квантизация может повлиять на качество, а производительность зависит от оборудования и runtime. Модель распространяется по лицензии Apache-2.0; при использовании производного варианта необходимо также учитывать лицензию и ограничения исходной модели.

Saka-14B — объединённая языковая модель на архитектуре Qwen2, созданная Sakalti методом TIES с помощью mergekit на основе Qwenvergence-14B-v11 и Lamarck-14B-v0.7. Модель содержит 14 млрд параметров, работает с текстом и рассчитана на генерацию ответов в диалоге; каталог также отмечает интерфейс вызова инструментов. Длина контекста составляет 131 072 токена. Модель может применяться для диалоговых сценариев и генерации текста. В README не приведены оценки качества, конкретные поддерживаемые языки или дополнительные ограничения. Файлы представлены в формате safetensors; лицензия в доступных данных не указана.

SciPhi-Mistral-7B-32k-Mistral-7B-Instruct-v0.1 — объединённая модель Maziyar Panahi на архитектуре Mistral с 7,1 млрд параметров. Она создана методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и SciPhi/SciPhi-Mistral-7B-32k и предназначена для генерации текста и ответов в диалоге по инструкциям. Модель принимает текстовые запросы и поддерживает контекст длиной до 32 768 токенов, что позволяет вести длинные диалоги и работать с объёмными текстовыми фрагментами. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или специальных ограничений применения.

ServiceNow-AI_Apriel-Nemotron-15b-Thinker-GGUF — это GGUF-квантизации языковой модели Apriel-Nemotron-15b-Thinker, разработанной ServiceNow AI. Квантизации подготовлены bartowski с использованием imatrix и llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер около 15 млрд параметров; доступны варианты от BF16 до Q3 и IQ4, с размерами файлов примерно от 8 до 30 ГБ. README указывает текстовую модальность и формат prompt для систематического решения задач, однако сведения о поддерживаемых языках, размере контекстного окна и точной архитектуре не приведены. Более высокие уровни квантизации обеспечивают лучшее качество, а менее ресурсоёмкие варианты подходят для систем с ограниченным объёмом оперативной памяти. Распространяется по лицензии MIT. Для работы требуется совместимое программное обеспечение и объём памяти, соответствующий выбранному файлу квантизации; ограничения конкретных вариантов определяются их размером и степенью квантизации.

ricepaper/vi-gemma-2-2b-function-calling — языковая модель, разработанная hiieu, himmeow the coder и cuctrinh и дообученная на базе unsloth/gemma-2-2b-it-bnb-4bit. Она предназначена для диалогов и вызова одной или нескольких функций по запросу пользователя; обучающие данные включали диалоги с вызовами функций в формате ChatML и многоязычные данные, переведённые на вьетнамский язык. Модель также подходит для чат-ботов, систем вопросно-ответного поиска, суммаризации, перевода и агентных сценариев. Это плотная авторегрессионная Gemma 2 с 2,7 млрд параметров и контекстом до 8192 токенов. Основные языки — вьетнамский и английский; заявлена также работа с многоязычными данными. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. Качество выполнения вызовов зависит от предоставленных функций и настроек генерации. README отмечает, что для эффективной работы могут потребоваться подходящая аппаратная конфигурация и настройка параметров генерации.

airoboros-2.2.1-y34b — неофициально дообученная модель DS-Archive на наборе инструкций airoboros 2.2.1 от Jon Durbin, поверх базовой Llama-fied Yi 34B от Charles Goddard. Это плотная авторегрессионная языковая модель семейства Llama с 33,9 млрд параметров, grouped-query attention и контекстом 4096 токенов; формат весов в репозитории — safetensors. Предназначена для диалогов и выполнения текстовых инструкций в формате, производном от Vicuna 1.1. Модель переносит способности следовать инструкциям на основу Yi 34B. В README указано, что для инференса можно использовать 4-битную квантизацию на потребительском GPU с 24 ГБ видеопамяти; также опубликованы варианты EXL2 с разной разрядностью. Лицензия в метаданных обозначена как other, поэтому перед использованием следует проверить условия на странице модели. Обучение неофициальное; контекст ограничен 4096 токенами.

atom-80b-i1-GGUF — это набор квантизированных GGUF-версий языковой модели atom-80b, разработанной vanta-research и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, следования инструкциям, диалогового взаимодействия, рассуждений и исследовательских задач, связанных с поведением, выравниванием и сотрудничеством ИИ. По тематическим меткам она ориентирована на англоязычные сценарии и conversational AI. Исходная модель относится к семейству Qwen3 и имеет размер 80 млрд параметров. В README не указаны точная архитектура, размер контекстного окна, поддерживаемые модальности помимо текста и результаты оценивания. Репозиторий содержит варианты квантизации с размерами примерно от 16,3 до 65,6 ГБ, включая IQ- и QK-квантизации; варианты различаются компромиссом между размером, скоростью и качеством. В качестве сбалансированных рекомендуются i1-Q4_K_S и i1-Q4_K_M, тогда как наиболее компактные варианты могут заметно уступать в качестве. Модель поддерживает локальное использование через GGUF-совместимые инструменты. Основные преимущества — большой размер исходной модели, широкий выбор уровней квантизации и наличие imatrix-квантов, потенциально обеспечивающих лучшее качество при сопоставимом размере. Ограничения включают высокие требования к памяти, зависимость качества от выбранного варианта квантизации и отсутствие в README подробных данных о производительности и контексте. Модель распространяется по лицензии Apache-2.0.

ChaoticNeutrals/Captain-Eris-Diogenes_Twilight-V0.420-12B — объединённая разговорная языковая модель на архитектуре Mistral, опубликованная в формате safetensors для библиотеки Transformers. В состав слияния вошли Nitral-AI/Captain-Eris_Twilight-V0.420-12B и Nitral-AI/Diogenes-12B-ChatMLified; веса объединены методом SLERP. Модель содержит 12,1 млрд параметров и имеет заявленную длину контекста 1 024 000 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для ответов в чате, продолжения текста и интерфейсов с вызовом инструментов. Карточка не сообщает о специальной предметной области или языках. Лицензия в предоставленных данных не указана.

Карточка модели roskosmos19/Dolphin-4B-Instruct-flash на Hugging Face совпадает с карточкой roskosmos19/Orca-4B-Instruct, поэтому описание составлено по ней. Orca-4B-Instruct — компактная инструктивная языковая модель, опубликованная roskosmos19. По карточке она основана на архитектуре Qwen3 и предназначена для диалогов и выполнения текстовых инструкций. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и принимает контекст до 16 384 токенов. Модель рассчитана на генерацию ответов, следование инструкциям и разговорные сценарии; в метаданных также заявлен интерфейс вызова инструментов. Карточка описывает оптимизацию для экономичного запуска: сокращённый контекст и удалённые мультимодальные специальные токены уменьшают требования к памяти, сохраняя фокус на текстовых ответах. Доступны веса в формате safetensors. Модель подходит для локальных чат-ботов, помощников и других приложений, где важны умеренный размер и стоимость инференса. Ограничение контекста до 16 384 токенов исключает обработку очень длинных запросов; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

ECE_Poirot — языковая модель, созданная студентами инженерной школы ECE Youri LALAIN и Lilian RAGE при участии лаборатории ECE iLab и под руководством специалистов ECE и Exaion. Модель получена слиянием bond005/meno-tiny-0.1 и Qwen/Qwen2.5-1.5B-Instruct методом SLERP с настройкой весов для слоёв self-attention и MLP. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров, предназначенная для генерации текста и диалогов. Она принимает текст и формирует текстовые ответы; метаданные также отмечают интерфейс для вызова инструментов. Контекстное окно — 32 768 токенов. Модель опубликована в формате safetensors и доступна по лицензии Apache-2.0.

QuantFactory/gemma-2-9b-it-GGUF — это квантизированная версия текстовой instruction-tuned модели google/gemma-2-9b-it, созданная QuantFactory с использованием llama.cpp. Базовая модель разработана Google и относится к семейству Gemma, созданному на основе исследований и технологий Gemini. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, суммирование, рассуждения и другие задачи обработки текста. Это decoder-only языковая модель формата text-to-text, рассчитанная на работу с английским языком. Квантизация в формате GGUF может упростить локальный запуск и снизить требования к ресурсам по сравнению с исходными весами, включая использование на пользовательском компьютере или собственной облачной инфраструктуре. В названии базовой модели указано 9 миллиардов параметров, однако точный формат квантизации и контекстное окно этой версии в README не уточняются. Модель работает только с текстом; сведения о поддержке других модальностей отсутствуют. К сильным сторонам относятся относительно компактный размер семейства Gemma и instruction tuning, а ограничения включают англоязычную специализацию и возможное снижение точности из-за квантизации. Лицензия указана как gemma; условия использования приведены в Terms of Use Google.

Adolphsson/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive-MTP-NVFP4 — мультимодальная модель для работы с текстом, изображениями и аудио. Это общественный, вручную собранный чекпойнт на основе Gemma-4-E4B и дообучения HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive. Модель не является официальным релизом Google или HauhauCS; сборку подготовил автор Adolphsson. Текстовый трансформер содержит 42 слоя со скрытым размером 2560. Он квантизован в формат NVFP4 W4A4 с 4-битными весами и активациями, а таблицы эмбеддингов используют FP8 e4m3 с построчными масштабами F32. Зрительный модуль и аудиоэнкодер сохранены в BF16. Модель поддерживает английский и другие языки, а также мультимодальные сценарии с изображениями и аудио. Заявлено контекстное окно до 131 072 токенов, однако фактическая доступная длина зависит от видеопамяти и настроек сервера. Основные преимущества — небольшой размер около 6,2 ГБ, возможность запуска на одной RTX 5090, высокая скорость декодирования с MTP speculative decoding и заметно увеличенный объём KV-кэша благодаря FP8-эмбеддингам. Для работы требуется vLLM с патчем из репозитория: без него FP8-таблицы эмбеддингов загружаются некорректно, что приводит к деградации генерации. Производительность и совместимость в README проверены на vLLM 0.28, Python 3.12, CUDA 13 и RTX 5090; заявленные показатели зависят от оборудования, параметров запуска и сценария нагрузки. Модель распространяется по лицензии Apache-2.0.

GLM-5.3-Flash-GGUF — квантизированная GGUF-версия модели GLM-5.3-Flash от Z.ai, подготовленная пользователем aj9o9 с ручным распределением типов квантования по классам тензоров. Модель предназначена для генерации текста и запуска через llama.cpp, включая локальное использование на системах с ограниченной памятью по сравнению с полноразмерной BF16-версией. Заявлены языки английский и китайский. Исходная модель имеет 320,6 млрд параметров, из которых 17,3 млрд активируются на токен; после удаления блока MTP/NextN в представленных файлах остаётся 313,33 млрд параметров. Это разреженная MoE-архитектура с 42 слоями маршрутизируемых экспертов, 288 экспертами в каждом слое, восемью активными экспертами и одним общим экспертом. Из 45 слоёв 34 используют Kimi Delta Attention, а 11 — Multi-head Latent Attention с индексатором DeepSeek. Благодаря этому модель экономно расходует память под контекст: заявлены 32K, 131K и 300K токенов при использовании примерно 0,44, 1,55 и 3,45 ГБ памяти для соответствующих KV-компонентов. Доступны две сборки: AJ-IQ3_XXS размером 112,40 ГБ с плотностью 2,80 бит на вес, рассчитанная на 128 ГБ unified memory или видеокарту на 96 ГБ с небольшим выгрузом, и AJ-IQ2_XXS размером 87,35 ГБ с плотностью 2,23 бит на вес, рассчитанная на видеокарту на 24 ГБ и 64 ГБ системной памяти. AJ-IQ3_XXS заметно лучше сохраняет качество исходной модели, тогда как AJ-IQ2_XXS требует меньше памяти, но имеет более высокое отклонение от BF16. Ограничение обеих сборок — отсутствие MTP-головы и поддержки спекулятивного декодирования через неё. Приведённые оценки качества получены на небольшом тесте Wikitext-2, поэтому не характеризуют все прикладные сценарии. Модель распространяется по лицензии MIT.

local-inference-lab/GLM-5.3-Flash-NVFP4 — квантованная и дистиллированная версия модели zai-org/GLM-5.3-Flash-BF16. Модель предназначена для генерации текста и диалоговых сценариев, поддерживает английский и китайский языки, а также мультимодальные задачи с использованием встроенного vision encoder. Архитектура сохранена: 45 decoder-слоёв, включая 3 плотных слоя и 42 MoE-слоя с 288 маршрутизируемыми экспертами в каждом, из которых для каждого токена активируются 8, дополнительно используется общий эксперт. Механизм внимания сочетает linear attention и DeepSeek Sparse Attention; заявленный размер модели на диске составляет около 199 ГБ. Длина контекста в README не указана. Ключевая особенность модели — quantization-aware distillation: веса маршрутизируемых экспертов обучались с учётом NVFP4-квантования, чтобы компенсировать ошибки низкой точности и приблизить ответы к исходной BF16-модели. Экспертные gate, up и down projections хранятся в NVFP4, вспомогательный MTP-модуль использует MXFP8, а остальные основные компоненты преимущественно сохраняют BF16 или FP32. Сильными сторонами являются сочетание MoE-архитектуры, дистилляции и низкобитного представления весов при сохранении vision encoder и MTP. Ограничения включают значительный объём модели, дополнительные требования к памяти для KV-кэша и буферов, а также необходимость runtime с поддержкой архитектуры glm5_next и смешанного формата ModelOpt NVFP4/MXFP8, включая покомпонентные масштабы активаций. Модель распространяется по лицензии MIT.

Hermes-Instruct-7B-v0.2 — диалоговая языковая модель на архитектуре Mistral, созданная lodrick-the-lafted на основе Mistral-7B-Instruct-v0.2 с дообучением на части набора teknium/openhermes в формате Alpaca. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов; для общения подходят шаблоны Mistral-Instruct и Alpaca. Модель предназначена для генерации текста и диалоговых ответов по инструкциям. В карточке приведены результаты оценки на задачах рассуждения и понимания текста, включая AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.

InnerILLM-0x00d0-Ox0dad0-Nous-Yarn-Mistral-7B-slerp — плотная языковая модель семейства Mistral на 7,1 млрд параметров, созданная InnerI объединением моделей NousResearch/Yarn-Mistral-7b-128k и InnerI/InnerILLM-0x00d0-Ox0dad0-nous-nous-v2.0-7B-slerp методом SLERP с помощью LazyMergekit. Она предназначена для генерации текста и диалоговых сценариев. Базовая модель Yarn-Mistral рассчитана на работу с длинным контекстом; для этой модели указано окно в 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. README не описывает отдельные языковые специализации или результаты оценки качества.