II.1Анализ требований и архитектура ПО

ChatGLM-6B — двуязычная диалоговая языковая модель от команды THUDM, основанная на архитектуре General Language Model (GLM). В репозитории указано 6,2 млрд параметров, а метаданные каталога оценивают размер в 8,1 млрд; модель предназначена для генерации ответов и диалога на китайском и английском языках. Модель обучалась примерно на 1 трлн токенов китайского и английского текста и дополнительно настраивалась с помощью контролируемого дообучения, feedback bootstrap и обучения с подкреплением на основе обратной связи людей. Она ориентирована на вопросы и диалоги, а квантование INT4 позволяет запускать её на потребительской видеокарте с 6 ГБ памяти. Для исследовательского использования веса открыты; бесплатное коммерческое использование разрешено после заполнения анкеты. Код распространяется по Apache-2.0, а для весов действует отдельная лицензия Model License.

Code-Daemon NER v1 — модель распознавания именованных сущностей в англо- и русскоязычной прозе о разработке ПО. Она выделяет компоненты систем, API и инструменты, пути к файлам, метрики и другие сущности, чтобы связывать документацию, обсуждения и сообщения коммитов с кодом. Это не парсер исходников: модель предназначена для поиска сущностей в текстовых описаниях. Модель основана на XLM-RoBERTa и дообучена для классификации токенов; метаданные указывают 124,3 млн параметров, а README описывает вариант с примерно 117 млн параметров. Контекст — до 128 токенов по настройке обучения; README рекомендует подавать одно-два предложения за вызов. Доступны веса Safetensors и форматы ONNX и Core ML. По оценке авторов на размеченных людьми данных, модель превосходит сравнивавшиеся zero-shot-модели для выбранных инженерных меток, но точность ограничена: авторы рекомендуют использовать её для генерации кандидатов с последующей фильтрацией, а не для автоматической разметки без проверки. Для оптимальных результатов требуется предварительно разбивать идентификаторы camelCase и snake_case. Лицензия — MIT.

ComplexKDA — авторегрессионная языковая модель с 1,36 млрд параметров, выпущенная командой авторов, перечисленных в карточке: Julien Siems, Riccardo Grazzi, Korbinian Pöppel и соавторы. Это чисто рекуррентная модель на архитектуре Kimi Delta Attention с подписанным затухающим коэффициентом: каналы могут осциллировать, а не только забывать предыдущий контекст. В архитектуре 24 слоя, размер скрытого состояния 2048, 16 голов внимания и короткая свёртка ширины 4; контекст обучения — 4096 токенов. Модель предназначена для авторегрессионной генерации текста и диалоговых сценариев. Для запуска в Transformers доступны вложенные реализация модели и токенизатор; при кодировании важно использовать токенизатор из репозитория, поскольку его настройки отличаются от upstream-версии. Репозиторий содержит веса safetensors и имеет лицензию MIT. Метаданные указывают 1,1 млрд параметров, тогда как README сообщает 1,36 млрд; точный размер следует считать неоднозначным.

ConfigurableBeagle-11B — языковая модель Vicgalle, дообученная методом configurable safety tuning на наборе vicgalle/configurable-system-prompt-multitask. Она предназначена для диалогов и генерации текста; системный промпт позволяет задавать режим поведения: безопасный помощник, помощник без ограничений, честный и беспристрастный помощник или ролевая персона. Модель основана на плотной архитектуре Mistral с 10,6 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель подходит для настройки поведения диалогового ассистента через системные инструкции и для экспериментов с управляемостью и безопасностью ответов. В карточке приведены результаты оценивания на наборах Open LLM Leaderboard. Модель распространяется по лицензии Apache-2.0.

Contextual_KTO_Mistral_PairRM — диалоговая языковая модель ContextualAI на базе Mistral-7B-Instruct-v0.2, дообученная методом KTO для согласования ответов с человеческими предпочтениями. Для обучения использован набор Snorkel-Mistral-PairRM-DPO-Dataset; модель прошла три итерации KTO. Она рассчитана на генерацию ответов в диалоговом формате TuluV2 и поддерживает контекст до 32 768 токенов. В карточке указана оценка 33,23 на проверенной таблице лидеров Alpaca Eval 2.0 на 6 марта 2024 года. Модель содержит 7,1 млрд параметров, использует архитектуру Mistral и распространяется в формате safetensors по лицензии Apache-2.0. Карточка сообщает об английском языке.

QuantFactory/Cotype-Nano-GGUF — это квантизированная версия легковесной языковой модели Cotype-Nano, разработанной MTSAIR. Квантизация выполнена с использованием llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, объяснение технических тем и помощь в написании кода, при ограниченных вычислительных ресурсах. Заявлена поддержка русского и английского языков. По данным карточки, исходная модель обучалась в два этапа: сначала MLP-слои обучались на математических и программных данных, затем вся модель — на внутренних и открытых синтетических наборах инструкций. Архитектура, количество параметров, размер контекста и точный формат квантизации для этой версии не указаны. Среди сильных сторон заявлены лёгкость, высокая скорость и эффективность при ограниченных ресурсах; к ограничениям относятся отсутствие подробных характеристик и независимой оценки качества за пределами приведённого локального теста ru-llm-arena, где исходная Cotype-Nano получила 30,2 балла, а версия Cotype-Nano-4bit — 22,5. В метаданных указана лицензия Apache-2.0, при этом ссылка ведёт на отдельный файл лицензии MTSAIR. Модель предназначена для использования с инструментами экосистемы llama.cpp и совместимыми средствами запуска GGUF.

SirSahOl выпустил 16-битную конверсию диалоговой модели JackFram/decider-2b для локального запуска через MLX на Apple Silicon. Это плотная текстовая авторегрессионная модель семейства Qwen3_5 с примерно 1,7 млрд параметров по метаданным и контекстом до 262 144 токенов. Репозиторий содержит веса в формате safetensors; для инференса используется библиотека MLX. Модель предназначена для генерации текста и многоходового диалога, в том числе локальных ответов и дополнений кода. Заявленный объём весов составляет около 4,8 ГБ, а для работы рекомендуется не менее 8 ГБ объединённой памяти; длинный контекст требует дополнительного запаса памяти. Конверсия ориентирована на графические процессоры Apple Silicon и не подходит для других аппаратных платформ без соответствующей поддержки MLX. Лицензия указана как неизвестная, поэтому условия дальнейшего использования следует сверить с исходной моделью JackFram/decider-2b.

TheWirelessPhoenix/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2-mlx_4bit — это конвертированная в формат MLX версия модели huihui-ai/DeepSeek-R1-Distill-Qwen-14B-abliterated-v2. Конвертация выполнена с использованием mlx-lm версии 0.32.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в приложениях, использующих экосистему MLX. Модель основана на варианте DeepSeek-R1-Distill-Qwen-14B и имеет размер 14B параметров; доступная версия использует 4-битное представление, что может снизить требования к памяти при запуске. Указана текстовая модальность и задача text-generation. Поддержка языков и размер контекстного окна в README не указаны. Для работы требуется установить mlx-lm и загрузить модель через API load и generate; при наличии chat_template можно применять диалоговый формат сообщений. К заявленным особенностям относятся теги abliterated и uncensored, однако README не содержит подробного описания методики, качества, результатов тестирования или ограничений такого варианта. Лицензия в предоставленных данных не указана, поэтому условия использования и допустимость коммерческого применения необходимо уточнять по карточке исходной модели и репозиторию модели.

Tonyshark/deepseek-v3-1b — плотная языковая модель семейства DeepSeek V3 для генерации текста. Модель содержит 401,6 млн параметров, использует архитектуру DeepseekV3ForCausalLM и рассчитана на контекст до 163 840 токенов. Она дообучена на неизвестном наборе данных; в метаданных также отмечены диалоговый режим и интерфейс вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу через интерфейс вызова инструментов. Карточка не описывает конкретные сильные стороны, результаты оценки или ограничения качества. Модель распространяется под лицензией MIT.

Это диалоговая языковая модель семейства Qwen3 с плотной архитектурой Qwen3ForCausalLM и примерно 801 млн параметров. По карточке она обучена с нуля на наборах данных Magpie и delphi_warmup; доступные веса представлены в формате safetensors. Модель предназначена для генерации текста в диалоговом режиме. Контекст составляет 4096 токенов. Карточка не приводит сведения о целевых сценариях, оценках качества или ограничениях применения. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория.

OsaurusAI публикует вариант Google DiffusionGemma 26B-A4B-it, квантованный в MXFP4 для запуска в MLX на компьютерах Apple Silicon через Osaurus и движок vMLX. Это блочная диффузионная языковая модель, а не авторегрессионная: она генерирует текст блоками по 256 токенов, итеративно уточняя их. Архитектура включает 30 слоёв Gemma 4 с MoE, 128 экспертами и выбором 8 экспертов; всего 26 млрд параметров, из которых активно около 4 млрд. Модель предназначена для диалоговой генерации текста и анализа одиночных или нескольких изображений. Поддерживает интерфейс вызова инструментов в формате Gemma 4 и шаблон чата с каналом размышлений. Веса занимают около 15 ГБ; README приводит скорость около 37 токенов/с при 48 шагах и около 74 токенов/с при 16 шагах на M5 Max. В README не заявлены языки модели. Лицензия — Gemma. Качество и скорость зависят от числа шагов денойзинга: при значениях ниже 12 качество снижается. Очень короткие запросы при жадном денойзинге иногда приводят к пустому ответу; повторная попытка или переформулировка могут помочь. Параметры temperature и top_p, передаваемые через интерфейс, игнорируются: расписание денойзинга задаётся конфигурацией модели.

Distilled-HermesChat-7B — экспериментальная диалоговая модель, созданная автором репозитория с помощью LazyMergekit путём слияния OpenChat 3.5 и Distilabeled-Hermes 2.5 на базе Mistral. Это плотная авторегрессионная модель MistralForCausalLM с 7,1 млрд параметров, предназначенная для общения и дальнейших экспериментов по дообучению. Репозиторий содержит веса Safetensors, а лицензия указана как Apache-2.0. Модель принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Базовые компоненты рассчитаны на диалог, программирование, математические рассуждения и общие вопросы, однако карточка этой конкретной модели представляет её как экспериментальный вариант для поиска удачного слияния перед последующим дообучением. Поэтому её качество для отдельных задач не следует считать подтверждённым.

GDSD Sudoku LLaDA — веса разговорной языковой модели семейства LLaDA, опубликованные вместе с работой о методе Guided Denoiser Self-Distillation для диффузионных языковых моделей. Модель предназначена для генерации текста в диалоговом формате; подход GDSD обучает денойзер методом само-дистилляции с подкреплением, чтобы улучшить решение задач планирования, математики и программирования. Репозиторий содержит веса в формате safetensors и предназначен для работы с Transformers. В карточке нет сведений о размере модели, поддерживаемых естественных языках и лицензии, поэтому эти характеристики не приводятся. Результаты, описанные для метода, относятся к бенчмаркам и сами по себе не гарантируют качество на других задачах.

AvoCahDoe/gemma-2-9b-rlmpq-high-fidelity — вариант Google Gemma 2 9B, подготовленный методом RL-MPQ (Reinforcement Learning Mixed-Precision Quantization) для сценария High Fidelity. Это плотная авторегрессионная модель класса Gemma2ForCausalLM с 9 млрд параметров и контекстом до 8192 токенов; она принимает текст и генерирует текст. В метаданных указан английский язык, а базовая модель предназначена для генерации текста, диалогов, суммаризации и ответов на вопросы. Веса имеют среднюю точность 7,0476 бита на параметр и описаны как fake-quantized FP16, совместимые с Hugging Face Transformers. README сообщает, что ширины битов для слоёв назначает PPO-агент, а качество проверяется по perplexity на WikiText-2; это не гарантирует качество на других задачах. Модель распространяется по лицензии Gemma.

Это GGUF-квантизированная версия модели gemma-2b-aps-it, первоначально разработанной Google. Репозиторий подготовлен bartowski с использованием llama.cpp и метода imatrix; доступны варианты от F16 до низкоразрядных IQ3 и Q3–Q8-квантизаций. Модель относится к классу генеративных текстовых моделей и предназначена для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель рассчитана на задачи генерации текста с использованием диалогового шаблона Gemma, поддерживающего системные инструкции, пользовательские запросы и ответы ассистента. Варианты различаются размером файлов и компромиссом между качеством и требованиями к оперативной памяти: F16 занимает около 5,02 ГБ, а наиболее компактные представленные варианты — примерно 1,31–1,49 ГБ. Некоторые сборки используют Q8_0 для embedding- и output-весов, что потенциально помогает сохранить качество. Ключевое преимущество репозитория — широкий выбор квантизаций для локального запуска, включая варианты, оптимизированные для ARM. При этом качество уменьшается в более компактных форматах, а отдельные ARM-варианты требуют поддержки инструкций sve или i8mm и не рекомендуются для Mac или Windows. В README не указаны контекстное окно, поддерживаемые языки, точные архитектурные характеристики базовой модели и лицензия, поэтому эти сведения нельзя определить по представленным данным.

Gemma 3 1B IT — компактная instruction-tuned модель семейства Gemma 3, разработанная Google. Данная версия опубликована сообществом LM Studio в формате GGUF на основе оригинальной модели google/gemma-3-1b-it; GGUF-квантизация предоставлена Google. Модель предназначена для генерации текста, включая ответы на вопросы, суммаризацию и задачи, требующие рассуждений. Она оптимизирована с помощью Quantization Aware Training для повышения качества работы в 4-битном режиме, что делает её подходящей для локального запуска при ограниченных вычислительных ресурсах. Поддерживается контекст до 32 000 токенов и максимальная длина вывода до 8 192 токенов. Ключевое ограничение — небольшой размер в 1 млрд параметров, из-за которого модель может уступать более крупным системам в сложных рассуждениях, точности и широте знаний. В README не указаны дополнительные языковые возможности и модальности, поэтому модель следует рассматривать прежде всего как текстовую. Доступ и использование регулируются лицензией Google Gemma; на Hugging Face требуется принять условия этой лицензии.

mlx-community/gemma-3-1b-pt-bf16 — текстовая плотная авторегрессионная модель семейства Gemma 3, преобразованная сообществом mlx-community из google/gemma-3-1b-pt в формат MLX с помощью mlx-lm 0.21.6. Число параметров — 1 млрд, контекст — до 32 768 токенов. Модель предназначена для генерации текста и может служить основой для дальнейшей адаптации и запуска через mlx-lm. Модель принимает текст и генерирует текст. В метаданных указан английский язык; других подтверждённых языков нет. Репозиторий использует формат safetensors. Лицензия — Gemma; условия использования определяются лицензией Google Gemma. README подтверждает конвертацию, однако формат MLX не указан среди форматов файлов в метаданных, поэтому точный формат представленных весов по имеющимся данным определить нельзя.

SevenOfNine/Gemma-4-26B-A4B-It-Abliterated — это модифицированная модель на основе Google Gemma 4 26B A4B IT, созданная Mel & Ada. Это мультимодальная модель семейства Gemma 4 с архитектурой Mixture-of-Experts: 26 млрд параметров, из которых активно около 4 млрд. Модель принимает текст и изображения, поддерживает диалог и интерфейс вызова инструментов, а ответы выдаёт в виде текста. Модель предназначена для локальных диалоговых сценариев, включая ролевое общение, ответы в заданном стиле, рассуждения и анализ изображений. Автор применил Heretic для снижения числа отказов: в описанном тесте на сложных вредоносных запросах количество отказов снизилось со 100 из 100 у исходной модели до 18 из 100; KL-дивергенция составила 0,0845. README также сообщает о запуске конвертированной версии GGUF на RTX 4080 Super с пропускной способностью 34,5 токена/с при Q5_K_M; это результат автора, а не гарантия для других конфигураций. Опубликованные веса представлены в формате safetensors. Модель распространяется по лицензии Gemma; применяются условия лицензии Google Gemma. Хотя модификация сохраняет многоязычные возможности базовой модели, метаданные указывают английский и французский языки, а результаты тестов и скорость в README являются данными автора.

OBLITERATUS/gemma-4-E4B-it-OBLITERATED — модифицированная версия Google Gemma 4 E4B Instruct, созданная проектом OBLITERATUS. Модель предназначена для генерации текста и диалогового использования, а также может поддерживать работу с изображениями и аудио при применении специального vision/audio-проектора. Доступны форматы GGUF для llama.cpp, Ollama, LM Studio и других совместимых инструментов, а также веса Safetensors для Transformers. Модель содержит около 4 млрд параметров и основана на архитектуре Gemma 4. В версии v3 сохранены все 720 тензоров, исправлена проблема с общими K/V-весами в слоях 24–41, а модификации затронули 21 из 42 слоёв. Основное изменение — удаление поведения, связанного с отказами и защитными ограничениями, с заявленной частотой жёстких отказов 0%. При этом модель сохраняет ограничения исходной компактной модели: возможны отклонение от темы, повторяющиеся или вырожденные ответы, а также редкие ответы на другом языке. Для снижения повторов рекомендуется использовать repeat_penalty 1.1 и системный промпт на английском языке. Для запуска требуются актуальные версии совместимых инструментов: например, Ollama 0.20+, llama.cpp начиная со сборки b8665, а для LM Studio, koboldcpp и text-generation-webui — свежие версии с поддержкой архитектуры gemma4. Контекстное окно, точный список поддерживаемых языков и другие характеристики в README не указаны. Лицензия — Apache 2.0.

Карточка модели hasithanilwakka/ghostwriter-llama31-8b-merged на Hugging Face совпадает с карточкой hasithanilwakka/ghostwriter-llama31-8b-merged-run02, поэтому описание составлено по ней. Ghostwriter Llama 3.1 8B Merged Run02 — дообученная автором hasithanilwakka языковая модель на основе unsloth/Llama-3.1-8B-Instruct-unsloth-bnb-4bit. Это плотная автрорегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогового общения; в карточке также заявлен интерфейс вызова инструментов. Модель обучалась с использованием Unsloth и библиотеки TRL. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Она распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает специальную область применения, конкретные улучшения после дообучения или результаты оценки качества.

GLM-4-32B-Base-0414 — плотная авторегрессионная языковая модель семейства GLM-4, разработанная Z.ai. В репозитории указаны 31,6 млрд параметров, предварительное обучение на 15 трлн единиц высококачественных данных и контекст до 32 768 токенов. Модель предназначена для генерации текста и служит базой для дальнейшего дообучения и постобучения; в карточке также описаны результаты семейства GLM-4-32B-0414 в генерации кода, вызове функций, ответах на вопросы с поиском и подготовке отчётов. Карточка указывает китайский и английский языки. Весы доступны в формате safetensors, библиотека — Transformers. Лицензия MIT. Несмотря на название Base, README смешивает описание базовой модели и всей серии, поэтому возможности диалога, вызова функций и рассуждений не следует считать гарантированными свойствами именно этого чекпойнта.

GLM-4-9B-Chat-Abliterated — языковая чат-модель семейства GLM объёмом около 9 млрд параметров. Исходную модель разработал byroneverson, а данный репозиторий содержит её GGUF-квантизации, подготовленные bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые средства локального запуска. Модель поддерживает китайский и английский языки. Она работает в текстовой модальности, использует формат GGUF и доступна в вариантах от F16 до компактных 2- и 3-битных квантизаций. Более точными считаются F16, Q8_0, Q6_K_L и Q6_K, а Q4- и Q3-варианты позволяют снизить требования к памяти ценой некоторой потери качества; отдельные сборки оптимизированы для ARM и CPU. В README не указаны размер контекста, точная архитектура и результаты сравнительных тестов. Для корректного диалога требуется специальный шаблон prompt с токенами GLM. Преимущество модели — возможность локального запуска при выборе подходящего уровня квантизации и сохранение качества в старших вариантах. Ограничения связаны с отсутствием заявленной мультимодальности, поддержкой только китайского и английского языков и возможным ухудшением качества в низкобитных вариантах. Лицензия указана как glm-4; подробные условия приведены в лицензии исходной модели GLM-4-9B-Chat.

Hathor_Stable-L3-8B-v0.5-GGUF — это набор квантизированных сборок языковой модели Hathor_Stable-L3-8B-v0.5, разработанной Nitral-AI. Файлы подготовлены пользователем bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через совместимое программное обеспечение, включая llama.cpp. В README явно указан английский язык и тип задачи text-generation. Модель относится к классу 8B, однако точная базовая архитектура и размер контекстного окна в предоставленных данных не указаны. Доступно множество вариантов квантования от Q8_0 и Q8_0_L до Q2_K и IQ2_M, что позволяет выбирать между качеством генерации, размером файла и требованиями к оперативной памяти. Наиболее качественными и рекомендуемыми названы варианты Q6_K, Q6_K_L, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; варианты с более низкой битностью требуют меньше памяти, но могут заметно уступать по качеству. Для работы следует использовать указанный шаблон диалога с токенами системного, пользовательского и ассистентского сообщений. Сильными сторонами модели являются широкий выбор квантизаций, возможность локального запуска и хорошее соотношение качества и требований к ресурсам в рекомендуемых вариантах. Ограничения включают отсутствие сведений о мультимодальности, дополнительных языках, результатах оценивания и точных характеристиках архитектуры; опубликованные сборки предназначены для текстовых задач. В метаданных указана лицензия «other», но её конкретные условия в README не раскрыты.

HedgeMind — дообученная Radheyyyy языковая модель семейства Llama на базе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit. Это плотная авторегрессионная модель примерно на 7,5 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Метаданные указывают контекст до 131 072 токенов и интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL. Модель принимает текст и генерирует текст; в карточке указан английский язык. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. README не уточняет специализацию дообучения, поэтому применимость к конкретным предметным областям и качество выполнения отдельных задач по имеющимся данным оценить нельзя.

Huihui-gemma-4-E4B-it-qat-q4_0-unquantized-abliterated-i1-GGUF — это GGUF-квантизированная версия модели Huihui-gemma-4-E4B-it-qat-q4_0-unquantized-abliterated, разработанной huihui-ai и подготовленной для распространения mradermacher. Модель основана на Gemma 4 и предназначена для диалоговых и генеративных задач; в карточке также указано, что это vision-модель, способная работать с визуальными данными при наличии соответствующего mmproj-файла. Заявленный язык — английский, библиотека — Transformers. Модель поставляется в вариантах GGUF с imatrix-квантизацией и разными форматами точности, включая i1-IQ1_S, i1-IQ2_M, i1-IQ3_M, i1-IQ4_XS и i1-Q4_0. Размер доступных файлов составляет примерно от 3,4 до 5,3 ГБ, что позволяет запускать модель на устройствах с ограниченными ресурсами, однако более агрессивная квантизация может снижать качество ответов. Конкретные сведения о размере архитектуры, максимальном контексте, поддерживаемых языках помимо английского и результатах тестирования в README не приведены. К сильным сторонам относятся компактные GGUF-варианты, возможность локального запуска и поддержка мультимодального сценария через отдельный mmproj-файл. Ограничениями являются отсутствие подробных оценок качества, неопределённость характеристик контекстного окна и потенциальная потеря качества при использовании малобитных вариантов. Модель помечена как abliterated и uncensored, поэтому её поведение, отказоустойчивость и безопасность следует самостоятельно проверять перед применением. Лицензия указана как Apache 2.0; для Gemma дополнительно приведена ссылка на официальные условия лицензирования Google.

Hy3-Razor-154B-A21B-E96of192 — производная модель на основе Tencent Hy3, созданная удалением половины маршрутизируемых экспертов методом RAZOR без дообучения и обновления весов. В каждом MoE-слое сохранено 96 из 192 экспертов; заявленный размер составляет 154B параметров, а активируется около 21B параметров на токен. Модель предназначена для диалоговой генерации текста и сценариев, поддерживаемых базовой Hy3. При сокращении затронут только пул маршрутизируемых экспертов: внимание, общие эксперты, эмбеддинги и языковая голова сохранены. Модель использует архитектуру HYV3ForCausalLM, формат bfloat16 и библиотеку Transformers; для запуска нужна версия Transformers со встроенной поддержкой hy_v3. Контекст — до 262144 токенов. Лицензия Apache-2.0. Обрезка экспертов снижает точность: изменения разнообразия, форматирования и поведения при завершении ответа возможны даже при сохранении точности задач. Поведение на областях, далёких от конечного калибровочного набора, не охарактеризовано; перед развёртыванием рекомендуется оценить модель на целевой нагрузке.

Это квантизированная версия языковой модели Ling-lite-0415, разработанной inclusionAI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В репозитории представлены варианты весов от полного BF16 размером 33,62 ГБ до компактных квантов Q3 и IQ3 размером около 7,65–9,30 ГБ. Доступны различные уровни качества и степени сжатия; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описан как подходящий размер по умолчанию для большинства сценариев. Архитектура, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Модель подходит для локальной генерации текста при наличии совместимого оборудования и программного обеспечения. Квантование уменьшает требования к памяти, но может снижать качество по сравнению с полноразмерными BF16-весами; наиболее компактные варианты имеют более заметные ограничения качества. Для работы следует использовать указанный формат prompt с ролями SYSTEM, HUMAN и ASSISTANT. Лицензия — MIT.

Infinity-Instruct-7M-Gen-mistral-7B-GGUF — это набор GGUF-квантизованных версий языковой модели Infinity-Instruct-7M-Gen-mistral-7B, разработанной BAAI и квантизованной компанией Second State Inc. Модель ориентирована на генерацию текста и диалоговые сценарии; README указывает поддержку английского языка и использование chatml-шаблона для общения. Модель основана на архитектуре Mistral и содержит 7 миллиардов параметров. Доступны варианты с точностью от 2 до 16 бит и размером примерно от 2,72 до 14,5 ГБ. Рекомендуемыми обозначены варианты Q4_K_M, Q5_K_M и Q5_K_S: они обеспечивают компромисс между размером и потерей качества. Вариант Q2_K является самым компактным, но сопровождается значительной потерей качества. Указанный размер контекста — 4096 токенов. Модель можно запускать локально через LlamaEdge версии 0.14.0 и выше, включая режим сервиса или командного чат-приложения. Для работы требуется использовать соответствующий GGUF-файл и шаблон chatml. Ограничения качества зависят от выбранного уровня квантизации; сведения о мультимодальности, результатах тестирования и других языках в README отсутствуют. Распространение выполняется по лицензии Apache-2.0.

Josiefied-Qwen3-1.7B-abliterated-v1-bf16 — конвертированная в формат MLX чат-модель семейства Qwen3, опубликованная сообществом mlx-community на основе Goekdeniz-Guelmez/Josiefied-Qwen3-1.7B-abliterated-v1. Она предназначена для генерации текста в диалогах и может использоваться в сценариях, где нужен компактный языковой ассистент; метаданные также отмечают интерфейс вызова инструментов. Модель имеет плотную архитектуру Qwen3ForCausalLM и 1,7 млрд параметров. Для неё указан контекст до 40 960 токенов; README сообщает о конвертации из исходного репозитория в MLX с помощью mlx-lm 0.23.2. Лицензия и языковая специализация в предоставленных данных не описаны.

Kappa 20B 131K — экспериментальная полноразмерная SFT-модель из серии persona, созданная автором репозитория на базе GPT-OSS 20B. Это языковая модель с архитектурой MoE и SwiGLU: в README указано 20,9 млрд параметров, из которых 4,2 млрд активны на токен; формат весов — safetensors. Модель предназначена для многоходового диалога, генерации текста и вызова инструментов, а поведение можно направлять одной из девяти персон через системное сообщение вида Persona: chaotic_evil. Она также работает без выбора персоны. Модель обучена на синтетических диалогах с девятью персонами методом полноразмерного supervised fine-tuning в bf16. Заявлена длина контекста 131 072 токена; автор приводит результаты RULER на этом размере, а также тесты на устойчивость к лести и калибровку отказов. Метаданные указывают английский язык. Лицензия обозначена как other, поэтому конкретные условия использования по представленным данным определить нельзя.