I.2Синтез, понимание и проверка знаний

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-DFlash2-NInfer — это артефакт для движка NInfer, объединяющий 27-миллиардную текстовую модель Qwen3.8 с community-тюном HauhauCS Uncensored Aggressive и моделью z-lab Qwen3.8-27B-DFlash2 для speculative decoding. Артефакт подготовлен в формате одного файла .ninfer и предназначен для локального инференса на одной GPU через C++/CUDA. В нём также сохранена собственная NextN/MTP-голова исходного тюна. Модель рассчитана на генерацию и обработку текста, а благодаря официальной vision-башне поддерживает сценарии image-text-to-text. Для ускорения вывода доступны режимы DFlash2 и MTP; в README приведены результаты проверки на Blackwell GPU: до 59,8 токена/с в режиме DFlash2 и до 112,1 токена/с в режиме DFlash2 Think, однако эти показатели зависят от оборудования и конфигурации. Артефакт использует groupwise quantization с форматами Q4G64_F16S, Q5G64_F16S, Q6G64_F16S и W8G32_F16S, а размер файла составляет около 20,4 ГБ. Основные ограничения связаны с требованиями к среде выполнения: upstream NInfer ориентирован на одну видеокарту класса RTX 5090 с 32 ГБ памяти и архитектурой Blackwell; для других GPU может потребоваться отдельная версия движка. В README указаны параметры запуска с контекстом 16 384 и 32 768 токенов, но заявленный максимальный контекст самой модели не приведён. Список поддерживаемых языков также не указан. Модель распространяется по лицензии Apache-2.0; при этом в составе используются производные компоненты и базовые модели сторонних авторов, условия которых следует проверять отдельно.

mradermacher/Qwen-3.8-27B-Uncensored-i1-GGUF — набор квантованных версий модели Qwen-3.8-27B-Uncensored, разработанной junafinity и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации и обработки текста, а также поддерживает сценарии image-text-to-text, то есть работу с изображениями и текстом. В README указан английский язык, библиотека Transformers и мультимодальная архитектура с поддержкой зрения. Модель содержит 27 млрд параметров; доступны варианты квантования i1 от Q2_K до Q6_K, включая IQ-квантизации, с размером файлов примерно от 11 до 22,5 ГБ. README отмечает, что IQ-варианты часто предпочтительнее обычных квантизаций сопоставимого размера, а i1-Q4_K_M рекомендуется как быстрый вариант. Конкретный размер контекста и архитектурные особенности не указаны. К сильным сторонам относятся широкий выбор квантов, возможность локального запуска в GGUF-совместимых инструментах и поддержка изображений. Ограничения включают возможное снижение качества при низких уровнях квантования, значительные требования к памяти и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0; для работы с изображениями могут потребоваться отдельные файлы mmproj из статического репозитория.

Qwen3.8-27B-Uncensored-NInfer — это конверсия модели orcarouter/Qwen3.8-27B, основанной на Qwen/Qwen3.8-27B, в самодостаточный формат .ninfer. Артефакт подготовлен для runtime NInfer-4090 и видеокарты RTX 4090 с архитектурой sm_89; конверсия является только изменением формата развертывания и не включает дополнительное обучение или изменение поведения исходной модели. Разработчик и автор конверсии указаны как pyros-vault. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений и видео через режим Vision. В комплект встроены веса, токенизатор, chat template, конфигурации генерации и ресурсы обработки изображений и видео. Размер модели — 27B параметров; используется смешанная точность и групповая квантизация, включая варианты Q4G64, Q5G64, Q6G64 и W8G32. Поддерживается speculative decoding с MTP на один–пять черновых токенов. В проверенных конфигурациях использовалась емкость контекста 4096 токенов, но фактическое потребление памяти также зависит от KV-состояния, рабочих областей и уровня параллелизма. Сильной стороной является оптимизация под RTX 4090 и возможность существенно ускорить декодирование с MTP: в одном интеграционном тесте был зафиксирован результат 155,42 токена в секунду против 46,68 токена в секунду в базовом режиме. Эти измерения относятся к одному сценарию и не являются универсальным бенчмарком. Артефакт требует совместимого native-сборки NInfer-4090 с целевым Qwen3.8; он не предназначен для Transformers, llama.cpp или сторонних форков NInfer. Заявления об «uncensored» и «abliterated» не подтверждены независимо в рамках этой конверсии. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-Q8_0-GGUF — это GGUF-конверсия дообученной модели orcarouter/Qwen3.8-27B-Uncensored. Конверсию выполнили с помощью llama.cpp через сервис GGUF-my-repo; исходная модель основана на Qwen3.8-27B и связана с ней как fine-tune. Модель распространяется в формате GGUF и предназначена для запуска с llama.cpp на совместимом оборудовании. Заявленные сценарии включают обработку текста и изображений, reasoning, function calling, red-teaming и AI safety research. В карточке указаны английский и китайский языки, а также тег vision-language, однако подробности об архитектуре, поддерживаемых типах изображений, максимальном контексте и фактических возможностях function calling не приведены. Размер модели составляет 27B параметров, используется квантование Q8_0, что может снизить требования к памяти по сравнению с полноразмерной версией, сохраняя близкое к исходному качество, но конкретные требования к ресурсам не указаны. Модель может быть удобна для локального инференса через llama.cpp и серверного развёртывания. Ограничения включают отсутствие в README результатов тестирования, подробного описания датасета и дообучения, а также сведений о производительности и безопасности; заявленное «uncensored» позиционирование также означает необходимость самостоятельной оценки рисков и фильтрации ответов. Указана лицензия Apache-2.0.

TheDrainFlorist/Qwen3.8-27B-VQ-4.8bpw — это векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B для Apple Silicon. Модель предназначена для генерации текста и обработки изображений в экосистеме MLX; она включает vision tower и распространяется в формате, совместимом с mlx-lm и mlx-vlm. Модель содержит около 27 млрд параметров, использует векторное квантование с эффективностью 4,8 бита на параметр и занимает примерно 15,45 GiB. В карточке указаны английский язык и текстовая генерация, однако размер контекстного окна не приведён. По сравнению с 4-битной affine-квантизацией эта сборка ближе к исходной bf16-модели: согласие по наиболее вероятному токену составляет 90,8%, а измеренное расхождение KL — 32,8 millinats на токен. При этом точность ниже, чем у вариантов q6, q8 и bf16. Для работы требуется версия mlx-lm с поддержкой параметра model_file; для изображений нужен mlx-vlm версии 0.6.16 или новее. Сборка рассчитана прежде всего на локальный запуск на устройствах Apple Silicon и поддерживает exo. Ограничениями являются зависимость от совместимого загрузчика и неизбежная потеря качества из-за квантования. Модель распространяется по лицензии Apache-2.0.

dealignai/Qwen3.8-Flash-Next-CRACK-JANG_2L — это исследовательская CRACK-abliterated-версия модели JANGQ-AI/Qwen3.8-Flash-Next-JANG_2L, относящейся к preview-линейке qwen4_exp компании Alibaba. Модель предназначена для запуска на Apple Silicon через MLX и vMLX, а также для текстовых, мультимодальных и агентских сценариев: работы с изображениями и видео, рассуждений, использования инструментов и задач, требующих многошагового взаимодействия. В основе лежит гибридная архитектура Mixture-of-Experts примерно на 176 млрд параметров с 512 экспертами и около 6 млрд активных параметров. Используются Gated DeltaNet и Qwen Sparse Attention, хешированное n-gram-эмбеддирование и встроенная multi-token prediction head. Поддерживаются текст, изображения и видео; заявлены английский и китайский языки. Доступны режимы рассуждений off, low и xhigh. Для модели требуется около 65 ГБ дискового пространства и примерно 47 ГБ активной оперативной памяти, при этом около 18 ГБ таблицы хешированных n-gram-эмбеддингов подгружаются с диска по требованию. Ключевая особенность CRACK-сборки — удаление стандартного отказного поведения при сохранении рассуждений, инструментов и мультимодальных возможностей. На приведённом тесте MMLU точность составила 81,84%, что на 1,49 процентного пункта ниже базовой версии; в отдельных предметах наблюдалось заметное снижение качества. В тестах HarmBench заявлена высокая доля ответов, непосредственно выполняющих запросы, однако модель может генерировать китайский текст даже для некоторых других запросов, а отдельные ответы классифицировались как бессвязные. README также предупреждает, что это исследовательский артефакт и что ответственность за использование весов лежит на пользователе. Лицензия указана как qwen-community-1.0.

Qwen3.8 Omni Flash — мультимодальная модель рассуждений компании Alibaba, ориентированная на агентные сценарии. Она предназначена для анализа аудио- и видеоматериалов и подготовки их кратких сводок. В README заявлена встроенная поддержка понимания аудио и видео. Модель подходит для анализа аудио-видео материалов; в предоставленных данных не описаны её архитектура, размер, поддерживаемые языки, длина контекста и условия лицензии.

BRlin публикует конверсию модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M в формат MLX bf16 для запуска на Apple Silicon. Это плотная мультимодальная модель семейства Qwen3.5 с архитектурой Qwen3_5ForConditionalGeneration, примерно 9 млрд параметров и конфигурацией контекста до 1 048 576 токенов. Модель принимает текст и изображения, поддерживает диалог, визуальные запросы, рассуждения и работу с инструментами; в метаданных указан английский язык. Веса сохранены без квантизации, поэтому конверсия рассчитана на сохранение поведения исходной модели при использовании MLX и Metal. В README приведено сравнение на Apple M4 Pro: генерация текста около 14,5 токена в секунду против 7,4 у исходного варианта в PyTorch-MPS; для запуска указано около 19 ГБ памяти. Эта публикация предназначена для локального вывода на Apple Silicon и не описывает отдельное дообучение BRlin. Лицензия — Apache-2.0. Указанные скорости относятся к конкретной конфигурации и устройству; длинный контекст и bf16 требуют значительных ресурсов памяти. Поведение и авторство исходной модели README относит к Empero AI.

Randeng-Pegasus-523M-Summary-Chinese-V1 — модель семейства PEGASUS, разработанная командой Fengshenbang и предназначенная для создания кратких изложений китайских текстов. Это дообученная версия Randeng-Pegasus-523M-Chinese: её дополнительно обучили на отфильтрованной выборке примерно из 1,8 млн примеров, составленной из семи китайских датасетов суммаризации. По заявлению авторов, фильтрация по сущностям повысила верность кратких изложений исходному тексту; для LCSTS приведены метрики ROUGE-1 46,94, ROUGE-2 33,92 и ROUGE-L 43,51. Метаданные указывают архитектуру PegasusForConditionalGeneration, 319,6 млн параметров, формат PyTorch и контекст до 1024 токенов. Модель принимает китайский текст и генерирует его краткое изложение. Карточка не приводит подробных ограничений по применению; качество может зависеть от тематики и стиля входного текста. Лицензия в предоставленных данных не указана.

Rombos-LLM-V2.6-Nemotron-70b-GGUF — это набор квантованных версий языковой модели Rombos-LLM-V2.6-Nemotron-70b, опубликованный и подготовленный к квантованию пользователем bartowski. Модель предназначена для генерации текста и распространяется в формате GGUF для запуска с помощью llama.cpp и совместимых приложений, включая LM Studio. Квантование выполнено с использованием imatrix на базе llama.cpp b3930. Доступны варианты квантования от Q8_0 до IQ1_M с размерами файлов примерно от 19 до 75 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше оперативной памяти; в README рекомендуются варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Версии с низким уровнем квантования экономичнее по памяти, однако отличаются сниженным качеством. Это текстовая модель без заявленной поддержки изображений или других модальностей. README не содержит сведений о точной архитектуре, языках, размере контекста, разработчике исходной модели, лицензии и результатах независимого тестирования. Поэтому модель можно рекомендовать для локальной генерации текста при наличии подходящего объёма памяти, но её языковые возможности, ограничения и условия юридического использования следует уточнять на странице исходной модели rombodawg/Rombos-LLM-V2.6-Nemotron-70b.

s1.1-32B-GGUF — квантизированная версия языковой reasoning-модели s1.1-32B, разработанной командой simplescaling и опубликованной в формате GGUF пользователем brittlewis12. Базовая модель создана на основе Qwen2.5-32B-Instruct и дообучена на 1 000 примерах из датасета s1K с использованием reasoning traces из DeepSeek-R1. Модель предназначена для генерации текста, диалоговых сценариев и решения задач, требующих многошагового рассуждения, включая математические и научные вопросы. Поддерживает английский язык, работает с текстом и использует шаблон запросов ChatML. Архитектурный тип указан как qwen2; размер модели — 32B параметров. Модель поставляется в GGUF, что подходит для локального запуска через llama.cpp и совместимые приложения, в том числе на устройствах Apple при наличии достаточных ресурсов. Размер контекста в README не указан. К заявленным сильным сторонам относятся улучшенная способность к рассуждению по сравнению с исходной s1 и возможность test-time scaling с помощью budget forcing. В приведённых оценках модель показывает 95,4% на MATH500, 63,6% на GPQA-Diamond, 60,0% на AIME2025 I и 56,7% на AIME2024; результаты получены с применением budget forcing, поэтому они могут не отражать стандартный режим использования. Ограничения включают отсутствие данных о поддерживаемых языках помимо английского, модальностях помимо текста, размере контекста, требованиях к памяти и производительности. Лицензия — Apache-2.0.

Sappho_V0.0.4 — языковая модель для генерации текста, созданная Jakolo121 с помощью слияния моделей LazyMergekit. В основу слияния вошли Jakolo121/Sappho_V0.0.3 и VAGOsolutions/SauerkrautLM-7b-HerO; применён метод SLERP. Модель построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы. Контекстное окно составляет 32 768 токенов. Базовая SauerkrautLM-7b-HerO описана как немецко-английская диалоговая модель; карточка Sappho не уточняет языковое покрытие и условия лицензии.

ScandiNLI-large — модель естественного языкового вывода (NLI), разработанная для датского, норвежского букмола и шведского языков. Это дообученная для NLI версия NbAiLab/nb-bert-large на базе архитектуры BERT; число параметров в метаданных — 453,9 млн, длина контекста — до 512 токенов. Модель поддерживает классификацию без примеров с заранее обученными метками: она оценивает связь между посылкой и гипотезой, что позволяет применять её для классификации текста по пользовательским категориям. В README приведены оценки на датских, шведских и норвежских наборах данных; авторы отмечают, что оценки для шведского и норвежского получены на машинно переведённой версии MultiNLI, а не на эталонных наборах этих языков. Модель распространяется под лицензией Apache-2.0.

ServiceNow-AI Apriel-1.6-15b-Thinker-GGUF — это квантизированная GGUF-версия модели Apriel-1.6-15b-Thinker, разработанной ServiceNow AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач генерации текста и диалогового взаимодействия; в карточке также указана категория image-text-to-text, однако подробности о работе с изображениями не приведены. Модель имеет размер 15 миллиардов параметров и выпускается в вариантах от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. GGUF-файлы рассчитаны на запуск через llama.cpp, LM Studio и другие совместимые проекты. Доступны версии объёмом примерно от 7,7 до 28,9 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество исходной модели. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура и результаты benchmark-тестов. Сильной стороной модели является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти; автор README рекомендует несколько вариантов Q4–Q6 для практического использования. Ограничения связаны с потерями качества при более агрессивной квантизации, а также с отсутствием сведений о языках, контексте и мультимодальных возможностях. Модель распространяется по лицензии MIT.

trick45-smoke-5 — опубликованный сообществом Affine чекпойнт для генерации текста и диалогового общения. По метаданным это модель семейства Qwen3.5 MoE с архитектурой causal language model, содержащая 2,9 млрд параметров и рассчитанная на контекст до 262 144 токенов. Модель загружается через Transformers; веса представлены в формате safetensors. Карточка описывает публикацию как community-shared checkpoint, выпущенный Affine Community Dashboard. Доступ к скачиванию закрыт и запрашивается на Hugging Face. Языки, на которых модель обучалась или рассчитана работать, не обозначены. Лицензия указана как other, поэтому конкретные условия использования по имеющимся сведениям определить нельзя.

soob3123_amoral-gemma3-12B-v2-GGUF — это GGUF-квантизированная версия модели amoral-gemma3-12B-v2, разработанной soob3123 и подготовленной пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста, аналитических задач и сценариев, где требуется нейтрализация предвзятости или менее ограниченное поведение. Указан английский язык и тег text-generation. Модель относится к семейству Gemma 3 и имеет размер 12B параметров. Доступны варианты от исходных весов BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемые варианты обеспечивают высокое качество, тогда как варианты Q3 и некоторые низкоразрядные форматы экономят память, но заметнее снижают качество. Модель можно запускать через LM Studio, llama.cpp и совместимые проекты. Архитектурные детали, поддержка мультимодальности и размер контекста в README не указаны. Лицензия — Apache-2.0. Ограничения зависят от выбранного уровня квантизации и доступных аппаратных ресурсов; для точного выбора варианта следует учитывать размер конкретного файла и требования среды запуска.

Strangemerges_32Yamshadow-7B — объединённая Maxime Labonne языковая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана методом SLERP из Gille/StrangeMerges_32-7B-slerp и automerger/YamShadow-7B; веса представлены в формате safetensors, контекст — до 32 768 токенов. Модель предназначена для генерации текста и сценариев, где требуется продолжать или создавать текст по текстовому запросу. Карточка приводит пример загрузки через Transformers, но не уточняет специализацию по языкам или отдельным предметным областям. Модель распространяется по лицензии Apache-2.0. README не сообщает сравнительных оценок качества или специальных ограничений применения.

Aryanne/SuperHeartBerg — объединённая языковая модель, созданная Aryanne с помощью mergekit методом task_swapping. В качестве базовой модели использована Aryanne/SuperHeart, в объединение также вошла nbeerbower/llama3.1-gutenberg-8B. Модель построена на плотной архитектуре Llama с классом LlamaForCausalLM и содержит 7,5 млрд параметров. Модель предназначена для генерации текста и диалогового общения. Заявленная длина контекста — 131 072 токена; репозиторий содержит веса в формате safetensors. Языки и специализированные области применения в карточке не обозначены. Лицензия не установлена по предоставленным данным; характеристики качества и ограничения отдельно не описаны.

SuperQwen3.8-abliterated-Venice-GGUF — это квантованные GGUF-версии мультимодальной модели SuperQwen3.8-abliterated-100-fp8 от Jiunsong, подготовленные и опубликованные mradermacher. Модель предназначена для генерации текста, рассуждений, обработки изображений вместе с текстом и вызова инструментов. Заявлена поддержка английского и корейского языков, а также сценариев с длинным контекстом. Техническая основа включает Transformers и архитектуру Qwen3.8/Qwen3.5; точный размер исходной модели и длина контекста в README не указаны. Набор содержит варианты квантования Q2_K–Q8_0 и IQ4_XS размером примерно от 11 до 29,1 ГБ. Для мультимодальной работы доступны отдельные компоненты mmproj в форматах Q8_0 и f16. В README отмечены версии Q4_K_S и Q4_K_M как быстрые и рекомендуемые, Q6_K как обеспечивающая очень хорошее качество, а Q8_0 — как быстрая и наиболее качественная; варианты с меньшим размером могут снижать качество. Модель позиционируется как uncensored и abliterated, однако подробности применённых изменений и результаты оценки не приведены. Распространяется по лицензии Apache-2.0. README не содержит точных требований к оборудованию, производительности и безопасному применению; указана совместимость с экосистемой vLLM и ускорителями H100/H200.

Swift-Qwen3.8-27B-Genesis-GGUF — мультимодальная модель для диалогов и понимания изображений и видео, созданная LuffyTheFox на основе ukisai/Swift-Qwen3.8-27b. Автор применил к GGUF-весам метод Genesis: численную обработку тензоров без переобучения. В README заявлена плотная причинно-языковая архитектура на 27 млрд параметров с визуальным энкодером, 64 слоями языковой модели, 48 слоями Gated DeltaNet и 16 слоями gated attention. Модель предназначена для диалоговых запросов, работы с изображениями и видео, а также других задач мультимодального понимания. Она принимает текст и изображения; README также заявляет понимание видео. Нативное контекстное окно составляет 262 144 токена, с возможностью расширения до 1 000 000 токенов при настройке совместимого фреймворка. Доступны файлы GGUF, включая вариант F16; запуск предусмотрен в llama.cpp, LM Studio и koboldcpp. Карточка заявляет снижение шума в весах и повышение стабильности, но не приводит независимых сравнительных оценок этих эффектов. Метаданные указывают английский и китайский языки, а также мультиязычную поддержку. Лицензия — Apache-2.0.

T3qm7xNeuralsirkrishna_Experiment24Inex12 — объединённая модель, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment24Inex12-7B. Она построена на архитектуре Mistral и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов. Контекст составляет до 32 768 токенов; репозиторий содержит веса в формате safetensors. Поддерживаемые языки и специализированные области применения по предоставленным данным не установлены. Модель распространяется по лицензии Apache-2.0. Характеристики качества и конкретные ограничения в карточке не описаны.

Это текстовая модель T5-Large, разработанная Google и дообученная sysresearch101 на наборе XSum с англоязычными новостными статьями BBC и их краткими аннотациями. Модель предназначена для экстрактивной по стилю, но абстрактной суммаризации: она формирует короткое, обычно одно предложение, передающее основную мысль статьи. Модель содержит 385,2 млн параметров, использует архитектуру T5ForConditionalGeneration и принимает текст, выдавая текстовое резюме. Длина контекста — 512 токенов; основным языком является английский. Для XSum в карточке приведены метрики ROUGE-1 26,89, ROUGE-2 6,94 и ROUGE-L 21,28. Модель подходит для краткого пересказа новостей и экспериментов с экстремальной суммаризацией. Обучение только на новостных текстах может ограничивать перенос на другие жанры. Резюме намеренно очень короткие и могут чрезмерно упрощать сложные темы; перед использованием в продуктивных системах качество следует проверить на целевых текстах. Лицензия — MIT.

ThaiLLM-30B — базовая языковая модель ThaiLLM, полученная продолжением предобучения Qwen3-30B-A3B на разнообразном корпусе примерно из 63 млрд токенов. В метаданных указана архитектура Qwen3 MoE и 2,6 млрд параметров; модель принимает текст и генерирует продолжения. Контекстное окно — до 32 768 токенов. Модель предназначена прежде всего для работы с тайским и английским языками. Её можно использовать как основу для адаптации к пользовательским задачам, а также для оценки понимания текста и выбора ответов по вероятности следующего токена. В README приведены сравнительные результаты на тайских наборах Belebele, XNLI, ThaiExam и MMLU-ProX; результаты различаются по задачам. Это базовая модель, поэтому для диалогового и прикладного использования рекомендуется предварительное инструкционное дообучение. Для специализированных областей может потребоваться дополнительная адаптация, а результаты в важных сценариях следует проверять. Лицензия — Apache-2.0.

bartowski/TheDrummer_Agatha-111B-v1-GGUF — это набор GGUF-квантизаций языковой модели Agatha-111B-v1, разработанной TheDrummer. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix; модель предназначена для текстовой генерации и запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 111B параметров. В README указана поддержка диалогового и общего текстового применения, включая работу с английским, французским, испанским, итальянским, немецким, португальским, японским, корейским, арабским, китайским, русским и рядом других языков. Доступны варианты квантизации от Q4 до Q8, размером примерно от 63,5 до 118 ГБ; более высокие разряды обычно сохраняют лучшее качество, но требуют больше памяти. Рекомендуемыми названы Q4_K_M, Q4_K_L, Q5_K_M, Q5_K_S и Q6_K. Сильной стороной модели является сочетание крупного размера и нескольких вариантов квантизации, позволяющих выбирать баланс между качеством и требованиями к оборудованию. Ограничения включают очень высокие требования к оперативной или видеопамяти, а также возможную потерю качества в менее точных вариантах. Архитектура, максимальная длина контекста и лицензия в предоставленном README не указаны.

GLM-Z1-9B-0414-GGUF — это квантизированная версия языковой модели GLM-Z1-9B-0414, разработанной THUDM и подготовленной к публикации в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Заявлена поддержка китайского и английского языков. Модель содержит около 9 миллиардов параметров; точная архитектура и размер контекста в README не указаны. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, а менее точные варианты требуют меньше оперативной памяти. Квантизация выполнена с использованием llama.cpp и метода imatrix; также отмечено исправление токенизатора. Сильной стороной модели является возможность локального запуска на широком спектре конфигураций с выбором подходящего компромисса между качеством и потреблением памяти. Ограничения включают возможное снижение качества у низкобитных вариантов, отсутствие сведений о результатах оценки, точной архитектуре и контекстном окне, а также необходимость соблюдать указанный формат промпта. Модель распространяется по лицензии MIT.

martimfasantos/tinyllama-1.1b-sum-sft-full — дообученная модель семейства Llama, созданная на основе TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3T. Она содержит около 1 млрд параметров и предназначена для генерации текста; при дообучении использовался набор martimfasantos/openai-summarize-tldr, связанный с краткими пересказами публикаций Reddit. Модель может использоваться для экспериментов с генерацией кратких пересказов и другими текстовыми запросами. Архитектура — плотная авторегрессионная Llama; максимальная длина контекста составляет 2048 токенов. Веса опубликованы в формате Safetensors. Лицензия — Apache-2.0. В карточке модели приведено значение loss 2.1350 на оценочном наборе, но подробности методики оценки отсутствуют.

Trendyol-LLM-7b-chat-v1.0-GGUF — это набор GGUF-квантизированных версий диалоговой языковой модели Trendyol LLM v1.0, разработанной Trendyol и подготовленной квантизатором tolgadev. Модель основана на Mistral 7B, использует авторегрессионную оптимизированную transformer-архитектуру и обучалась с применением DPO и библиотеки Hugging Face TRL. Репозиторий содержит варианты с разрядностью от 2 до 6 бит и предназначен для запуска локально через совместимые клиенты и библиотеки, включая LM Studio, LoLLMS Web UI и Faraday.dev. Модель принимает и генерирует только текст. Заявлены поддерживаемые языки Turkish и English; основной сценарий — диалоговая генерация текста и другие задачи, подходящие для чат-модели. Размер исходной модели — 7 млрд параметров. В зависимости от варианта файлы занимают примерно 2,59–5,61 ГБ, а максимальная требуемая оперативная память составляет около 4,88–8,15 ГБ. В README не указано значение максимальной длины контекста. Сильная сторона репозитория — широкий выбор уровней квантизации: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M — как вариант с очень низкой потерей качества. Более компактные варианты требуют меньше памяти, но могут значительно ухудшать качество; наиболее качественные варианты требуют больше ресурсов. Модель распространяется по лицензии Apache-2.0.

Trendyol LLM v1.8 — чат-модель компании Trendyol для генерации текста и ответов на инструкции. Это авторегрессионная плотная трансформерная модель семейства Mistral на 7,2 млрд параметров, дообученная с помощью LoRA на наборах инструкций. Модель принимает текст и генерирует текст; метаданные указывают контекст до 32 768 токенов, а в описании обучения указана максимальная длина последовательности 1 024 токена. Модель предназначена для диалоговых сценариев и генерации ответов на текстовые запросы. В первую очередь она рассчитана на турецкий и английский языки. Ответы могут содержать ошибки и предвзятость, а качество в реальных сценариях не проверено в широком масштабе; для пользовательских приложений рекомендуется проверка результатов человеком и фильтрация нежелательного содержимого. Лицензия — Apache-2.0.

arsis-dev/ukisai-Swift-Qwen3.8-27b-MTPLX — это квантованная runtime-конверсия модели ukisai/Swift-Qwen3.8-27b, разработанной UkisAI, для быстрого локального запуска на компьютерах Apple Silicon. Конверсия выполнена с помощью MTPLX Forge 2.11.2 и не является новой дообученной моделью. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений: зрительные веса исходного чекпойнта сохранены. Она работает через MTPLX/MLX, использует 4-битное affine-квантование тела модели с размером группы 64, а native MTP head оставлен в формате BF16 для self-speculative decoding с глубиной до D3. Размер опубликованного артефакта составляет около 16,9 ГБ. README не указывает точное окно контекста и полный список поддерживаемых языков. На Apple M5 Max с 128 ГБ unified memory измеренная скорость декодирования достигла 65,2 токена/с в режиме MTP D3 против 29,4 токена/с для авторегрессионного режима, что соответствует ускорению 2,22 раза. Эти результаты относятся к пропускной способности декодирования данной конверсии и могут отличаться в зависимости от длины контекста, параметров генерации, оборудования, температуры и нагрузки. Мультимодальное качество и скорость обработки изображений отдельно не оценивались; оптимальная глубина MTP может различаться на других Mac. Конверсия распространяется по условиям Swift Open License v1.0 и наследует лицензионные требования исходной модели. Перед использованием, распространением или загрузкой необходимо ознакомиться с разделом License and access исходного чекпойнта.

weblab-10b — языковая модель, разработанная Такеши Кодзимой и созданная на базе кода EleutherAI/gpt-neox. Это плотный авторегрессионный трансформер GPT-NeoX с 36 слоями и размером скрытого представления 4864; в README указано 10 млрд параметров, а метаданные репозитория содержат 13,9 млрд. Модель предварительно обучена примерно на 600 млрд токенов из японского C4 и The Pile и ориентирована прежде всего на японский язык, сохраняя многоязычную направленность. Модель предназначена для генерации текста и языковых задач на основе контекста, включая ответы на вопросы, понимание текста и краткое изложение. В README приведены результаты оценки на японском бенчмарке JGLUE; они показывают применимость к задачам японского языка, но не гарантируют качество для каждого пользовательского сценария. Контекстное окно составляет 2048 токенов. Репозиторий содержит веса PyTorch; лицензия CC BY-NC 4.0 ограничивает использование некоммерческими условиями.