II.10Разработка и эксплуатация AI/ML-систем

WhiskyAKM/LFM2.5-2.6B-NVFP4-GGUF — квантованная GGUF-сборка текстовой модели Liquid AI LFM2.5-2.6B, подготовленная для локального запуска через llama.cpp на CPU и GPU. В основе лежит LiquidAI/LFM2.5-2.6B-Base; в карточке указаны архитектура LFM2, около 2,69 млрд параметров и гибридная структура из 30 слоёв, включая свёрточные слои и GQA. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и агентных сценариев с вызовом инструментов. Она поддерживает контекст до 131 072 токенов и ориентирована на эффективный запуск на устройстве. Файл NVFP4 использует 4-битное представление для уменьшения требований к памяти. Репозиторий указывает лицензию `other`; конкретные условия следует сверять с карточкой базовой модели и файлами лицензии. В README заявлены сильные стороны в использовании инструментов и длинном контексте, но независимые результаты оценки не приведены.

LLaDA2.2-mini — компактная по числу активируемых при инференсе параметров языковая модель InclusionAI из серии LLaDA2.2. Это диффузионная модель Mixture-of-Experts (MoE) с архитектурой LLaDA2MoeModelLM; метаданные указывают 1,2 млрд параметров, а карточка описывает 16 млрд общих параметров и 1,4 млрд активируемых при инференсе. Модель рассчитана на генерацию текста и диалог, включая многошаговое взаимодействие с инструментами и исправление ошибок. Контекстное окно составляет 128K токенов. Механизм Levenshtein Editing с управляющими токенами DELETE и INSERT позволяет удалять и вставлять фрагменты при генерации, а Block Routing ограничивает активацию MoE-экспертов на уровне блоков диффузии. В README рекомендованы Transformers версии 5.2.0 или новее; для длинноконтекстных сценариев с инструментами предлагается SGLang. Качество и скорость зависят от порогов денойзинга: низкие пороги могут ускорить инференс, но приводить к повторяющимся или нестабильным ответам. Модель распространяется по лицензии Apache-2.0. В предоставленных материалах языки обучения или поддерживаемые естественные языки не перечислены.

Llama3.1-Flammades-70B — диалоговая языковая модель на архитектуре Llama 3.1, разработанная FlammenAI. Это дообученная версия nbeerbower/Llama3.1-Gutenberg-Doppel-70B: модель адаптировали методом ORPO на наборах flammenai/Date-DPO-NoAsterisks и jondurbin/truthy-dpo-v0.1, используя два ускорителя H100 в течение трёх эпох. Модель содержит 69,5 млрд параметров, работает с текстом и имеет контекст длиной до 131 072 токенов. Модель предназначена для диалоговой генерации текста и ответов на инструкции. В карточке приведены результаты Open LLM Leaderboard: средний балл 35,74, IFEval — 70,58, BBH — 52,55; эти показатели отражают оценки на указанных тестах, а не гарантируют качество в конкретном сценарии. Для запуска доступен формат Safetensors и библиотека Transformers. Лицензия — Llama 3.1 Community License.

Llama-3.1-Tulu-3-405B-DPO — большая языковая модель семейства Tülu 3, разработанная Allen Institute for AI (Ai2). Это плотная авторегрессионная модель на архитектуре Llama 3.1 с 403,7 млрд параметров, дообученная методом DPO на основе allenai/Llama-3.1-Tulu-3-405B-SFT. Она предназначена для диалогов и следования инструкциям, а также для широкого круга текстовых задач, включая математические рассуждения и выполнение заданий по заданным критериям. Контекстное окно составляет до 131 072 токенов; основной язык — английский. Модель подходит для создания чат-ассистентов, ответов на вопросы и решения сложных текстовых задач. Карточка приводит результаты оценки на нескольких бенчмарках, включая MATH, GSM8K и IFEval, и описывает её как модель с сильными результатами на разнообразных задачах. Для запуска доступны веса PyTorch и библиотека Transformers. Модель распространяется по Llama 3.1 Community License Agreement. Авторы отмечают, что обучение безопасности ограничено: без дополнительной фильтрации модель может выдавать проблемные ответы, особенно при соответствующих запросах. Для инференса также нужны значительные вычислительные ресурсы из-за размера модели.

Hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF — квантованная версия инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta и представленной в формате GGUF для использования с llama.cpp и совместимыми средствами инференса. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций на локальном или ограниченном по ресурсам оборудовании. Модель содержит около 3 миллиардов параметров и использует 8-битное квантование Q8_0, что снижает требования к памяти по сравнению с полноразмерными весами при сохранении близкого к исходной модели качества. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модальность — текстовая; размер контекста в README не указан. К сильным сторонам относятся инструкционная настройка, относительно небольшой размер, широкая заявленная языковая поддержка и удобный для локального запуска формат GGUF. Ограничения включают возможную потерю качества из-за квантования, меньшие возможности по сравнению с более крупными моделями и отсутствие информации о конкретных показателях производительности и максимальном контексте. Модель распространяется по Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая указание «Built with Llama», сохранение лицензионного уведомления и Acceptable Use Policy; для продуктов с более чем 700 миллионами месячных активных пользователей предусмотрены дополнительные условия.

MelloGPT-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная MaziyarPanahi слиянием методом SLERP моделей Mistral-7B-Instruct-v0.2 и MelloGPT. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель содержит 7,1 млрд параметров, использует формат Safetensors и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст; в карточке указана лицензия Apache-2.0. README описывает смешивание слоёв внимания и MLP с разными коэффициентами. Карточка не сообщает о специальных предметных областях или иных модальностях.

unsloth/MiniMax-M2.5-GGUF — это GGUF-версия языковой модели MiniMax-M2.5, подготовленная Unsloth на основе модели MiniMaxAI/MiniMax-M2.5. Она предназначена для локального запуска и генерации текста, включая использование через совместимые инструменты и библиотеки экосистемы Transformers. В README указано, что модель относится к классу text-generation и распространяется в формате GGUF с применением метода квантования Unsloth Dynamic 2.0. Заявляется, что этот метод обеспечивает высокую точность по сравнению с другими вариантами квантования. Архитектура, количество параметров, поддерживаемые языки, размер контекста и дополнительные модальности в предоставленных данных не указаны; по доступной информации модель является текстовой и не описана как мультимодальная. Основные преимущества — возможность локального запуска и наличие оптимизированных квантованных вариантов, потенциально снижающих требования к ресурсам по сравнению с полноразмерной моделью. Ограничения, результаты тестирования и рекомендуемые аппаратные требования в README не приведены. Лицензия обозначена как modified-MIT; подробные условия следует проверять в файле лицензии MiniMax-AI по указанной в карточке ссылке.

Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.

MaziyarPanahi/Mistral-7B-KNUT-v0.3-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Herry443/Mistral-7B-KNUT-v0.3. Модель содержит 7,1 млрд параметров, принимает текстовые инструкции и генерирует текст; заявленный контекст составляет до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на инструкции. Веса сохранены в формате safetensors, слияние выполнено в формате bfloat16. Репозиторий распространяется по лицензии Apache-2.0. README не описывает отдельные специализированные сценарии применения или ограничения качества.

MixtureofMerges-MoE-2x7b-v7 — языковая модель с архитектурой Mixture of Experts (MoE), созданная автором jsfs11 с помощью LazyMergekit путём объединения Gille/StrangeMerges_32-7B-slerp и mlabonne/AlphaMonarch-7B. Модель предназначена для генерации текста и может применяться для диалогов, ответов на вопросы, следования инструкциям и рассуждений. Модель содержит 7,1 млрд параметров, использует архитектуру Mixtral и поддерживает контекст до 32 768 токенов. В README приведены результаты оценивания на бенчмарках рассуждений и здравого смысла. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

MN-magnum-v2.5-18.5B-kto-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели MN-magnum-v2.5-18.5B-kto-Instruct, разработанной DavidAU и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска через llama.cpp или совместимые приложения, включая LM Studio. Она поддерживает диалоговый формат с системными и пользовательскими сообщениями. В основе лежит модель размером 18,5 млрд параметров; точная архитектура, поддерживаемые языки, модальности и размер контекстного окна в README не указаны. Доступны варианты от F16 до низкобитных квантований Q2 и IQ, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Для квантования использовались llama.cpp и imatrix с указанным набором данных; варианты Q5–Q6 отмечены как высококачественные и рекомендуемые, а Q3 и Q2 предназначены для систем с ограниченными ресурсами, но могут заметно уступать по качеству. Лицензия в README не указана, поэтому условия использования необходимо уточнять в карточке исходной модели DavidAU/MN-magnum-v2.5-18.5B-kto-Instruct.

unrestrictedai/my-embedding-gemma — модель Sentence Transformer, дообученная на базе google/embeddinggemma-300m. Она преобразует предложения и абзацы в плотные эмбеддинги размерности 768 и сравнивает их по косинусному сходству. Архитектура относится к Gemma 3 Text; модель содержит 302,8 млн параметров, принимает текст с контекстом до 2048 токенов и сохраняет веса в формате safetensors. Модель предназначена для семантического поиска, оценки сходства текстов, поиска перефразировок, классификации и кластеризации. В README указано обучение на трёх примерах с MultipleNegativesRankingLoss, поэтому качество и переносимость на другие задачи или предметные области могут быть ограничены. Лицензия в предоставленных данных не указана.

Nemotron-3-Nano-Omni-30B-A3B-JANGTQ4-CRACK — мультимодальная модель dealignai, созданная на базе nvidia/Nemotron-3-Nano-Omni-30B-A3B-Reasoning. Это доработанная и квантизированная сборка с гибридной архитектурой Mamba-2, attention и MoE: 52 слоя, 128 маршрутизируемых экспертов с выбором шести и один общий эксперт на MoE-слой. В README указано 19 ГБ; метаданные сообщают 1,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для диалогов и рассуждений с текстом, изображениями и аудио; для мультимодального конвейера с видео README рекомендует дополнение Multimodal-Addon. Заявлены поддержка tool calling и сохранение мультимодальных компонентов базовой модели. Разработчик приводит результаты собственных проверок HarmBench и MMLU, однако это не независимая оценка; в частности, на сложных задачах рассуждения может потребоваться бюджет не менее 16 384 токенов. Сборка использует JANGTQ4 (8-битные attention-компоненты и 4-битные маршрутизируемые эксперты) и CRACK v2, в которой удалено обучение отказам. Поэтому модель может выдавать вредоносное содержание и требует отдельного защитного слоя перед практическим развёртыванием. Лицензия в метаданных обозначена как other; конкретные условия использования следует проверять в репозитории. Для запуска README указывает vMLX или jang-tools.

Norocetacean-20b-10k — плотная языковая модель семейства Llama, опубликованная ddh0. Она создана слиянием Psyonic-Cetacean-20B и LoRA-адаптера no_robots-alpaca; контекст расширен до 10 240 токенов с помощью YaRN. Модель рассчитана на генерацию ответов по инструкциям в формате Alpaca и может применяться в диалоговых и текстовых сценариях с длинным контекстом. В модели около 19,8 млрд параметров. README указывает Llama 2 как базовую модель и сообщает о включении Orca-2-13B; для использования действуют условия Microsoft Research License. Карточка не описывает языковую специализацию или дополнительные модальности, поэтому модель следует рассматривать как текстовую.

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-4M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и работу с очень длинными контекстами; обозначение UltraLong-4M указывает на поддержку контекста до 4 миллионов токенов. В карточке указано, что модель ориентирована на английский язык и относится к текстовой модальности. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF, совместимом с llama.cpp, LM Studio и другими проектами на его основе. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций с размером файлов примерно от 4,3 до 16,1 ГБ. Квантизации выполнены с использованием imatrix, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса; наиболее качественными названы BF16, Q8_0 и варианты Q6, а Q4 и Q3 подходят для систем с меньшим объёмом оперативной памяти. Основные ограничения связаны с использованием квантизированных вариантов: уменьшение размера может сопровождаться снижением качества по сравнению с исходными весами, а требования к памяти при работе с контекстом в миллионы токенов остаются высокими. Для корректной работы следует использовать рекомендованный шаблон prompt формата Llama 3.1. Лицензия модели — CC-BY-NC-4.0, допускающая использование с некоммерческими ограничениями.

Карточка модели mayflowergmbh/occiglot-7b-it-en-instruct-hf на Hugging Face совпадает с карточкой occiglot/occiglot-7b-it-en-instruct, поэтому описание составлено по ней. Occiglot-7B-it-en-Instruct — генеративная языковая модель Occiglot Research Collective, дообученная следовать инструкциям и поддерживать диалог. Это плотный decoder-only трансформер Mistral с 7,1 млрд параметров; модель принимает текст и имеет контекст до 32 768 токенов. Карточка описывает поддержку английского и итальянского языков, а также кода; обучение включало многоязычные и программные инструкции, а взаимодействие рассчитано на шаблон ChatML. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, генерации текста и помощи с кодом на английском и итальянском. Это ранний выпуск исследовательского проекта, обученный на дополнительных инструкционных данных; приведённые оценки названы предварительными, а неанглоязычные результаты ограничены особенностями тестовых наборов. Модель не прошла safety alignment и может выдавать проблемный контент. Лицензия — Apache 2.0.

OpenBuddy Mistral 7B v13.1 — это языковая модель для генерации текста и диалогового взаимодействия, разработанная командой OpenBuddy на базе архитектуры Mistral. Данный репозиторий подготовлен TheBloke и содержит квантизированные версии модели в формате GGUF, предназначенные для запуска через llama.cpp и совместимые приложения и библиотеки, включая LM Studio, KoboldCpp, text-generation-webui и llama-cpp-python. Модель имеет около 7 миллиардов параметров и ориентирована на задачи ассистирования, ответов на вопросы, рассуждений и многоязычного общения. В метаданных заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Доступны варианты квантизации от 2 до 8 бит для инференса на CPU и GPU, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Информация о размере контекстного окна и мультимодальных возможностях не указана; модель предназначена для работы с текстом. К сильным сторонам относятся относительно компактный размер, широкий выбор уровней квантизации и возможность локального запуска на разнообразном оборудовании. Ограничения включают потенциальное снижение качества в квантизированных вариантах, отсутствие заявленных мультимодальных возможностей и неизвестный размер контекста. Модель распространяется по лицензии Apache 2.0.

protoLabsAI/Ornith-1.5-9B-NVFP4 — это квантованная мультимодальная версия модели Ornith-1.5-9B, разработанной ornith-ai. Модель предназначена для задач image-text-to-text, обработки изображений и текста, диалоговых сценариев, вызова инструментов и агентских приложений. Сборка оптимизирована для запуска через vLLM на GPU NVIDIA Blackwell с архитектурой sm120 и включает дистиллированную MTP-голову для спекулятивного декодирования. Основная часть линейных слоёв attention и MLP использует квантование NVFP4 W4A4, благодаря чему размер модели уменьшен с 17,9 до 11,2 ГБ. Башня зрения, DeltaNet/GDN linear_attn, lm_head, embed_tokens и MTP-голова сохранены в формате bfloat16. Поддерживаются изображения и текст; точные языки и исходный размер контекста в README не указаны, но рекомендуемый параметр запуска vLLM составляет до 32768 токенов. MTP обеспечивает ускорение декодирования примерно в 1,27 раза при заявленной доле принятия черновых токенов 0,804 на реальных запросах. Сильными сторонами модели являются сохранённая работоспособность зрения без выявленной статистически значимой деградации относительно bf16-версии, высокие результаты во внутренних тестах вызова функций и наличие встроенной MTP-головы без отдельной черновой модели. Ограничения включают зависимость от GPU Blackwell и специфической конфигурации vLLM, необходимость выделять достаточный бюджет токенов для адаптивного рассуждения, а также слабые результаты в тесте LiveCodeBench. Модель распространяется по лицензии MIT.

Swicked86/phi4-mm-gguf — набор GGUF-квантизаций мультимодальной модели Phi-4-multimodal-instruct, разработанной Microsoft. Модель содержит 5,6 млрд параметров и принимает текст, изображения и аудио; репозиторий подготовлен с помощью llama.cpp build b8347 для локального запуска на CPU и GPU. Модель предназначена для диалогов, ответов на вопросы по изображениям, визуального анализа, распознавания и объяснения содержимого графиков и документов, а также для обычных текстовых задач. Заявлен английский язык. Доступны варианты F16 размером 7,17 ГБ, Q8_0 размером 3,90 ГБ и Q4_K_M размером 2,37 ГБ. Для обработки изображений требуется отдельный файл vision encoder mmproj-phi4-mm-f16.gguf размером 825 МБ, совместимый со всеми текстовыми вариантами. В текстовом режиме README указывает поддержку контекста до 65 536 токенов, а в примерах мультимодального запуска используется контекст 8 192 токена. Q8_0 обеспечивает качество, близкое к F16, тогда как Q4_K_M требует меньше памяти и подходит для CPU или систем с ограниченной VRAM, но уступает по показателю perplexity. Ориентировочные требования VRAM при полной выгрузке на GPU составляют около 10 ГБ для F16, 5,4 ГБ для Q8_0 и 3,5 ГБ для Q4_K_M. Для работы с изображениями необходимо скачивать основной GGUF-файл вместе с mmproj; без него модель работает только с текстом. Мультимодальные оценки в README на момент публикации не завершены. Распространение заявлено по лицензии MIT, как и у исходной модели Microsoft.

bunnycore/Qwen2.5-3B-Smart — объединённая языковая модель, созданная автором с помощью mergekit методом passthrough из bunnycore/Qwen2.5-3B-RP-Mix и bunnycore/Qwen2.5-3b-Smart-lora_model. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров; она предназначена для генерации текста и диалогового использования, включая следование инструкциям и интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, работает через Transformers и распространяется в формате safetensors; нативный контекст — 32 768 токенов. Карточка не описывает отдельные специализированные области или конкретные языки. Условия лицензии в предоставленных данных не приведены. Качество, безопасность и фактическая совместимость вызова инструментов не оценены в карточке.

Qwen2-NextGen-8b — текстовая генеративная модель, созданная powermove72 объединением моделей newsbang/Homer-v1.0-Qwen2.5-7B и AIDC-AI/Marco-o1 с помощью LazyMergekit. Она предназначена для диалогов и генерации текста; архитектура — плотная Qwen2ForCausalLM, размер — 8 млрд параметров, контекст — до 32 768 токенов. Объединение выполнено методом passthrough с выбором диапазонов слоёв из каждой модели, объединённым токенизатором и весами float16. Модель можно применять для ответов на вопросы, выполнения текстовых инструкций и других задач генерации текста в чат-сценариях. Карточка не уточняет языковой охват и отдельные специализированные области. Репозиторий распространяет веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Qwen2-UtK-7B-128K — языковая модель на основе Qwen2-7B, дообученная командой проекта Untie the Knots для работы с длинным контекстом. Это плотная авторегрессионная модель с 7,1 млрд параметров; её контекстное окно составляет до 131 072 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста и поиска нужной информации в длинных последовательностях. Метод Untie the Knots продолжает предобучение на перемешанных фрагментах документов, чтобы улучшить выделение релевантных сведений при большом контексте. В README приведены результаты оценки на RULER для 128K контекста; указанный пример обслуживания использует vLLM. Карточка сообщает о поддержке английского и китайского языков. Модель основана на Qwen2-7B с изменённым параметром RoPE theta: 5 000 000 вместо 1 000 000. README описывает отдельную инструктивную версию ChatQA2, но эта карточка относится к базовой модели UtK, поэтому её не следует считать чат-моделью ChatQA2. Практическое качество зависит от задачи и длины входа; результаты README не гарантируют такую же точность на других данных и сценариях.

lmstudio-community/Qwen3-32B-MLX-8bit — языковая модель для генерации текста, представленная сообществом lmstudio-community и созданная на основе Qwen/Qwen3-32B. Модель преобразована в формат MLX с использованием mlx-lm версии 0.24.0 и предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm с поддержкой чат-шаблона, если он задан в токенизаторе. Ключевые характеристики модели — размер базовой модели 32B параметров, 8-битное представление и специализация на текстовой генерации. Формат MLX ориентирован на использование в совместимой среде, однако README не содержит сведений о поддерживаемых языках, длине контекста, архитектуре, мультимодальности, производительности и ограничениях. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель, созданная в коллаборации shaffhausen/DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh на базе Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. В разработке использовались методы Unsloth, датасеты DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также дополнительные обучающие материалы Fable, Claude Opus, GPT5 и собственные наборы данных. Лицензия — Apache-2.0; заявлены языки английский и китайский. Модель предназначена для широкого спектра задач: следования инструкциям, решения задач, рассуждений, генерации кода, творческого письма, художественной прозы, ролевых сценариев и других универсальных применений. В README заявлена поддержка vision, однако подробности о визуальном энкодере и формате мультимодального ввода не приведены. Архитектурный размер — 27B; точный контекст и базовая архитектура не указаны. Репозиторий содержит обычные и MTP-варианты GGUF-квантов, включая 4- и 8-битные варианты. Кванты используют NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности; в MTP-вариантах MTP-тензоры имеют точность Q8_0. К сильным сторонам относятся заявленные улучшения следования инструкциям, общего интеллекта, решения задач и рассуждений, а также сохранение производительности на низких квантах. Автор сообщает о превосходстве базовой Qwen3.6-27B в шести из семи бенчмарков и о результатах выше Qwen3.6-35B-A3B, но эти утверждения представлены самим автором и не подтверждены независимыми данными в README. Ограничения включают отсутствие подробных результатов тестов, точных требований к оборудованию и данных о контекстном окне. Модель позиционируется как uncensored/heretic, поэтому поведение в чувствительных сценариях и соответствие требованиям безопасности следует проверять отдельно. Для MTP-вариантов рекомендуется температура не выше 1, поскольку более высокие значения могут ухудшать работу multi-token prediction.

Qwen3.6-35B-A3B-Q6_K-GGUF — это квантизированная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с использованием llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в сценариях с высокой нагрузкой на CPU; использовать её можно через llama.cpp и совместимые инструменты. Модель имеет архитектуру mixture-of-experts (MoE), что отражено в обозначении 35B-A3B: общий размер составляет около 35 млрд параметров, а активными при обработке, предположительно, являются около 3 млрд параметров. Вариант Q6_K использует 6-битное квантизирование и позиционируется как версия с очень высоким качеством при меньшем размере по сравнению с полной моделью. В метаданных указано назначение image-text-to-text, однако сведения о поддерживаемых языках, точном размере контекста, визуальном модуле и фактических мультимодальных возможностях отсутствуют. Сильными сторонами являются локальный запуск, совместимость с экосистемой GGUF и llama.cpp, а также компромисс между качеством и требованиями к ресурсам. Ограничения связаны с потерями качества, возможными для квантизированной версии, потребностью подобрать параметры потоков и контекста под конкретное оборудование и отсутствием подробных данных о производительности. Модель распространяется по лицензии Apache-2.0.

aammari/setfit-zero-shot-classification-pbsp-p3-freq — модель Sentence Transformers на архитектуре MPNet, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. В метаданных указано 136,7 млн параметров и контекст до 514 токенов; модель работает с текстом и выдаёт эмбеддинги. Обучение использовало CosineSimilarityLoss. Модель подходит для поиска смыслово близких фрагментов и группировки текстов по содержанию. В README не приведены результаты бенчмарков, поэтому качество для конкретного языка или предметной области по имеющимся данным оценить нельзя. Репозиторий содержит веса PyTorch; сведения о лицензии отсутствуют в предоставленных источниках.

StructuredThinker-v0.2-MoreStructure — объединённая автором Ahdoot языковая модель для генерации текста и диалогового взаимодействия. Она создана методом DARE TIES с помощью mergekit на основе Qwen/Qwen2.5-3B-Instruct с включением prithivMLmods/QwQ-LCoT-3B-Instruct и PowerInfer/SmallThinker-3B-Preview. Модель имеет плотную архитектуру Qwen2 с 3,1 млрд параметров, рассчитана на контекст до 32 768 токенов и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для диалогов, следования инструкциям и генерации структурированных ответов; интерфейс также предусматривает вызов инструментов. Карточка не сообщает отдельные результаты оценки качества или список поддерживаемых языков. Лицензия в предоставленных данных не указана.

Dragoy/Swift-Qwen3.8-27B-abliterated-NVFP4-NInfer — мультимодальная производная модель на 27,78 млрд параметров, разработанная Dragoy на основе ukisai/Swift-Qwen3.8-27b. Модель поддерживает обработку текста и изображений с генерацией текста; в артефакт включены vision tower, MTP-head и DFlash2-drafter. Из модели удалено направление отказов в стиле huihui-ai, поэтому она ориентирована на более свободное выполнение запросов, включая сценарии, в которых исходная модель могла отказывать. Поддерживаются ускоренное speculative decoding через MTP и DFlash2, а также серверный режим NInfer. README не указывает поддерживаемые языки и максимальную архитектурную длину контекста; в примерах используется контекст до 16 384 токенов. Веса квантованы в формате NVFP4 для MLP-компонентов и FP8 для attention, GDN и lm_head. Артефакт предназначен для запуска через NInfer на видеокартах NVIDIA Blackwell с архитектурой sm_120a; требуется CUDA версии не ниже 13.1 и совместимый runtime NInfer, для актуальной сборки — ревизия не ниже 98dada0e. Заявлен запуск примерно в пределах 20 ГБ видеопамяти на одной карте. К сильным сторонам относятся мультимодальность, низкая разрядность, поддержка спекулятивного декодирования и отсутствие отказов в заявленном тесте AdvBench, однако удаление отказов снижает встроенные защитные ограничения и может повышать риски небезопасного использования. Модель распространяется по лицензии Swift Open License 1.0.

Tien09/tiny_bert_ft_sim_score_1 — модель Sentence Transformers, дообученная автором на базе prajjwal1/bert-tiny на датасете пар текстов с оценками сходства. Она кодирует предложения и абзацы в плотные векторы размерности 128; для сравнения используется косинусное сходство. Модель подходит для оценки семантического сходства, семантического поиска, поиска перефразировок, кластеризации и классификации текстов. Архитектура включает BertModel с усреднением токенных представлений; максимальная длина последовательности — 512 токенов. Модель рассчитана на английский язык. Датасет обучения содержит пары текстов и оценки сходства; примеры относятся к описаниям карт Yu-Gi-Oh!, поэтому качество на иных тематиках может отличаться. Лицензия — Apache-2.0.

UwU-Qwen2.5-32B — объединённая языковая модель, созданная nbeerbower методом TIES с помощью mergekit на основе Qwen/Qwen2.5-32B и пяти других моделей семейства QwQ и Qwen. Это плотная авторегрессионная архитектура Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогов; поддерживает интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. Модель подходит для диалоговых сценариев, генерации и продолжения текста, а также работы с длинными запросами. В метаданных перечислена поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Файлы представлены в формате safetensors. Лицензия в предоставленных данных не указана.