I.5Создание и редактирование текста

benjzzz/Qwen3.8-27B-BenQ-6bit — квантованная версия мультимодальной модели Qwen3.8-27B, опубликованная автором benjzzz. Веса и vision tower представлены методом BenQ: 6-битные коды с отдельной таблицей значений для каждой строки, что, по README, даёт 6,16 бит на вес с учётом таблиц. Модель принимает текст и изображения и предназначена для диалогов, анализа изображений и программирования; метаданные также указывают интерфейс вызова инструментов. Для генерации текста в README приведён пример с кодом Python.

Qwen3-VL-30B-A3B-Thinking-1M-GGUF — GGUF-репозиторий весов мультимодальной модели Qwen3-VL-30B-A3B-Thinking, разработанной командой Qwen; сборка и адаптация опубликованы Unsloth. Модель предназначена для совместной обработки текста и изображений, а также для анализа видео, визуального рассуждения, OCR, генерации описаний и ответов, STEM-задач, пространственного анализа, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель использует MoE-архитектуру и относится к Thinking-редакции с усиленным рассуждением; в названии указаны 30B общих параметров и 3B активных параметров. Она поддерживает нативный контекст до 256K токенов с заявленной возможностью расширения до 1M, а также обработку длинных документов и продолжительных видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных позиций, DeepStack для объединения признаков ViT разных уровней и выравнивание текста с временными метками. OCR заявлен для 32 языков, однако полный перечень языков в README не приведён. К сильным сторонам относятся визуальное и мультимодальное рассуждение, понимание пространственных отношений, видео и длинного контекста, распознавание текста в сложных условиях и возможности визуального агента. Ограничения конкретной GGUF-квантизации, требования к ресурсам, точные параметры квантизации и результаты тестов в README не указаны; заявленные преимущества Unsloth Dynamic 2.0 приведены без подробных подтверждающих данных. Для запуска с llama.cpp требуется использовать параметр --jinja. Репозиторий распространяется по лицензии Apache-2.0.

Карточка модели TreezzZ/r2s-scienceworld-qwen3.5-4b-student на Hugging Face совпадает с карточкой Qwen/Qwen3.5-4B, поэтому описание составлено по ней. Qwen3.5-4B — мультимодальная модель компании Qwen на 4 млрд параметров, представленная в формате Hugging Face Transformers и дообученная на базе Qwen/Qwen3.5-4B-Base. Это причинная языковая модель с визуальным энкодером, предназначенная для диалога, анализа изображений, рассуждений, программирования и вызова инструментов. Модель использует гибридную архитектуру Gated Delta Networks и gated attention; в README указано 32 слоя. Нативная длина контекста — 262 144 токена с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. По умолчанию модель работает в режиме рассуждения, а для развёртывания доступны Transformers, vLLM, SGLang и KTransformers. Модель подходит для ответов на вопросы по изображениям и тексту, многошаговых диалогов и агентных сценариев с инструментами. Репозиторий распространяется по лицензии Apache-2.0. Реальная скорость и пропускная способность зависят от среды инференса; длинный контекст может приводить к нехватке видеопамяти.

Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-ds-auto-GGUF — это GGUF-квантизация инструкционной языковой модели Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-ds-auto, разработанной EpistemeAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, работы с инструкциями и задач, связанных с программным кодом; запуск возможен, в частности, через LM Studio. В README указан английский язык и лицензия Apache-2.0. Модель основана на архитектуре Meta Llama 3.1 с размером 8B параметров и заявленным контекстом 128K токенов. Репозиторий содержит варианты от исходных весов F16 размером 16,07 ГБ до квантизаций Q8_0, Q6_K_L, Q6_K, Q5_K_L и других, что позволяет выбирать баланс между качеством и требованиями к памяти. Варианты Q6_K и Q6_K_L отмечены как рекомендуемые и обеспечивающие очень высокое качество. Поддерживается только текстовая модальность. Сильными сторонами являются большой контекст, инструкционная настройка, специализация исходной модели на агентских и кодовых сценариях, а также широкий выбор GGUF-квантизаций для локального запуска. Ограничения включают зависимость качества и требований к ресурсам от выбранного уровня квантизации; приведённые результаты бенчмарков показывают неоднородную производительность на задачах рассуждения, математики и общих знаний. README не содержит подробностей о методике обучения и дополнительных языках.

German-RAG-MISTRAL-7B-v3.0-ORPO-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer Mistral, разработанная командой Avemio AI при поддержке Hessian AI. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель дообучена методом ORPO на немецкоязычных и англоязычных данных для сценариев Retrieval-Augmented Generation (RAG). Она предназначена для ответов на вопросы по найденным документам и контексту, извлечения релевантной информации, суммаризации и рассуждений. В README приведены результаты тестирования на наборах для извлечения, ответов на вопросы, суммаризации и сложных рассуждений; это результаты авторской оценки, а не гарантия качества для конкретных данных. Модель может выдавать неверные факты, поэтому ответы следует проверять. Без дополнительной фильтрации она может генерировать вредный или чувствительный контент. Лицензия модели и кода — Apache 2.0.

GLM-Z1-Rumination-32B-0414 — диалоговая модель глубокого рассуждения от Z.ai, созданная на основе GLM-4-32B-0414. В ней сочетаются длительное пошаговое рассуждение и использование инструментов поиска для решения открытых и сложных задач; обучение дополнительно ориентировано на математику, код, логику, исследовательский стиль письма и задачи с извлечением информации. Модель содержит 32,2 млрд параметров, использует плотную архитектуру GLM-4 и работает с контекстом до 131 072 токенов. Карточка описывает поддержку китайского и английского языков, диалога и вызова инструментов поиска. Указаны сценарии сравнительного анализа, подготовки исследовательских текстов и комплексного поиска с последующим синтезом результатов. Модель распространяется под лицензией MIT. Доступные материалы не приводят отдельных результатов оценки качества или подробностей ограничений; ответы и результаты поиска следует проверять, особенно в задачах, требующих точности и актуальности.

Hermes 2 Pro на Mistral 7B — диалоговая языковая модель, разработанная Nous Research совместно с Interstellarninja и Fireworks.AI. Это дообученная плотная модель Mistral с 7,1 млрд параметров; она использует формат ChatML и контекст до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций, а также для вызова функций и формирования структурированных ответов в JSON. Авторы сообщают о точности 90% в собственной оценке вызова функций и 84% в оценке JSON-вывода. Она подходит для ассистентов, которым нужно передавать вызовы инструментам и возвращать ответы по заданной схеме. Модель принимает текст и генерирует текст, включая представления вызовов инструментов и JSON. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Результаты оценок приведены авторами модели; качество ответов и корректность вызовов инструментов следует проверять в целевом приложении.

NeoHorse-1-9B-GGUF — текстовая причинно-следственная языковая модель примерно на 9 млрд параметров, разработанная TokenRhythm и дообученная на базе Qwen3.5-9B. Модель позиционируется как прототип в направлении рекурсивного самоулучшения и ориентирована на агентные сценарии, использование инструментов, программирование, рассуждения и следование инструкциям. Репозиторий содержит веса в формате GGUF для локального запуска с llama.cpp, Ollama и LM Studio. Доступны варианты BF16, а также 8-, 5- и 4-битные квантизации, позволяющие уменьшить требования к дисковому пространству и оперативной памяти. Модель работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в предоставленных данных не указаны. Сильными сторонами заявлены улучшения по сравнению с базовой Qwen3.5-9B на наборе из десяти бенчмарков, а также специализация на агентных рабочих процессах и tool use. При этом NeoHorse описана как первоначальный прототип, поэтому заявленные возможности рекурсивного самоулучшения относятся к исследовательскому framework и не означают полностью автономное самообучение модели. Модель распространяется по лицензии Apache-2.0.

Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

FreedomAISVR публикует Qwable-v1 в формате GGUF с квантизацией NVFP4. Это разговорная MoE-модель семейства Qwen, созданная для генерации текста и агентного программирования: в карточке описаны поведение Claude Fable-5 для использования инструментов и дистилляция рассуждений Claude Opus 4.7. Метаданные связывают модель с Qwen/Qwable-v1 как с дообученной базой. В README указаны 40 слоёв, 256 экспертов (8 активных на токен), около 3 млрд активных параметров и контекст 262 144 токена. Модель поддерживает зрение через SigLIP ViT; для работы с изображениями в llama.cpp нужен отдельный проектор mmproj в F16. Основной сценарий применения — диалоговая генерация и помощь с кодом; агентное использование требует соответствующего системного промпта. Весовой файл квантизирован в NVFP4, а README приводит размер около 18,81 ГБ для модели и 0,88 ГБ для проектора. Лицензия — AGPL-3.0.

Qwen2-UtK-7B-128K — языковая модель на основе Qwen2-7B, дообученная командой проекта Untie the Knots для работы с длинным контекстом. Это плотная авторегрессионная модель с 7,1 млрд параметров; её контекстное окно составляет до 131 072 токенов. Веса доступны в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста и поиска нужной информации в длинных последовательностях. Метод Untie the Knots продолжает предобучение на перемешанных фрагментах документов, чтобы улучшить выделение релевантных сведений при большом контексте. В README приведены результаты оценки на RULER для 128K контекста; указанный пример обслуживания использует vLLM. Карточка сообщает о поддержке английского и китайского языков. Модель основана на Qwen2-7B с изменённым параметром RoPE theta: 5 000 000 вместо 1 000 000. README описывает отдельную инструктивную версию ChatQA2, но эта карточка относится к базовой модели UtK, поэтому её не следует считать чат-моделью ChatQA2. Практическое качество зависит от задачи и длины входа; результаты README не гарантируют такую же точность на других данных и сценариях.

Qwen3.6-27B-YMQ-MTP-GGUF — это набор смешанно-точностных квантованных сборок модели Qwen3.6-27B от ZeroDigest, подготовленных из исходных BF16-весов с помощью YMQ-Compiler v2.0. Репозиторий распространяет веса в формате GGUF и поддерживает параллельное предсказание нескольких токенов (MTP) для спекулятивного декодирования. Модель предназначена для генерации текста и диалогов, в частности для задач программирования и работы через инструменты разработки кода. В README описаны варианты квантования разного размера, от XXS примерно 9,8 ГБ до S примерно 12,2 ГБ, с компромиссом между потреблением памяти и качеством. Автор рекомендует низкие контекстные нагрузки для самых сжатых сборок и отмечает возможное ухудшение вызова API при длинном контексте у варианта XS. В инструкции приведён пример запуска через llama.cpp с MTP и контекстом до 245760 токенов; это параметр запуска, а не подтверждённая нативная длина контекста модели. Базовая Qwen3.6-27B описана в метаданных как мультимодальная, но в README этой сборки конкретная поддержка изображений не раскрыта. Лицензия — Apache-2.0.

Qwen3.8-27B-OBLITERATED — дообученная версия Qwen3.8-27B, опубликованная Jaredhollins. Модель предназначена для диалогов и генерации текста, включая ответы на запросы, которые базовая модель может отклонять или сопровождать предупреждениями. По карточке, версия V3 устраняет жёсткие отказы и уклончивые ответы, сохраняя близкую к исходной производительность; в приведённом тесте MMLU она набрала 82,3% против 84,5% у базовой модели. В основе лежит плотная архитектура семейства Qwen3.5 с 27 млрд параметров. Репозиторий содержит варианты GGUF от BF16 до нескольких уровней квантования, а также файлы safetensors и MLX. Для GGUF автор рекомендует использовать встроенный шаблон чата; также указаны настройки генерации, помогающие уменьшить повторения и циклы. Лицензия — Apache-2.0. Модель ориентирована на ответы без отказов и подходит для диалоговых, кодовых и агентных сценариев. Указанные автором результаты на ограниченных наборах задач включают 20 из 20 проверок генерации кода, а также успешные примеры рефакторинга, извлечения данных по JSON-схеме и циклов ReAct. Это самооценка автора карточки; приведённые результаты не гарантируют качество на других запросах. В README также отмечено снижение MMLU относительно базовой модели, особенно в STEM, и склонность к повторениям без рекомендуемых настроек.

Qwen3-Coder-480B-A35B-Instruct-GGUF — это квантованная версия инструкционной модели Qwen3-Coder-480B-A35B-Instruct, разработанной командой Qwen. Модель опубликована в формате GGUF для использования в совместимых приложениях, включая LM Studio, и предназначена прежде всего для генерации текста и работы с программным кодом в диалоговом формате. Квантование выполнено bartowski на основе llama.cpp, релиз b5962. В README указано обозначение исходной модели с общим размером 480B и конфигурацией A35B, однако подробности архитектуры, фактический размер конкретного GGUF-файла, поддерживаемые языки программирования и естественные языки, модальности и длина контекста не приведены. Формат GGUF и поддержка llama.cpp упрощают локальный запуск в совместимом программном обеспечении, но характеристики производительности, требования к памяти, качество ответов и ограничения конкретного уровня квантования в README не описаны. Лицензия модели и условия использования также не указаны; их следует уточнять на странице исходной модели Qwen/Qwen3-Coder-480B-A35B-Instruct и у распространителя квантованной версии.

Swift-Qwen3.8-27B-GGUF — квантованная версия reasoning-эффективной производной модели Qwen3.8-27B, разработанная компанией UkisAI. Модель предназначена для задач рассуждения, включая общие вопросы, математику, следование инструкциям и программирование, где важны качество ответов и скорость генерации. По данным README, модель распространяется в формате GGUF и предназначена для использования с llama.cpp. Она сохраняет производительность, близкую к базовой Qwen3.8-27B: заявлено снижение качества менее чем на 1% при сокращении числа thinking-токенов в среднем на 58,3% и ускорении до 1,95 раза на ряде задач. В опубликованных тестах результаты Swift близки к базовой модели на GPQA-Diamond, MMLU-Pro, C-Eval, IFBench и математических бенчмарках, однако на некоторых из них качество ниже. Модель подходит для локального запуска и приложений, которым требуется эффективное рассуждение при ограниченных вычислительных ресурсах. Сведения о поддерживаемых языках, размере контекста и точном методе квантования в представленном README не указаны, поэтому эти характеристики нельзя определить достоверно. Модель распространяется по лицензии swift-open-license-1.0; README также содержит ссылку на условия доступа и enterprise-лицензирования.

German-RAG-PHI-3.5-MINI-4B-MERGED-HESSIAN-AI — языковая модель команды Avemio AI при поддержке Hessian AI, предназначенная для немецкоязычных задач с поиском и использованием документов. Это авторегрессионный трансформер с плотной архитектурой LlamaForCausalLM; в метаданных указано 3,7 млрд параметров и контекст до 131 072 токенов. Модель объединена методом SLERP из German-RAG-PHI-3.5-MINI-4B-SFT-HESSIAN-AI и German-RAG-PHI-3.5-MINI-4B-ORPO-HESSIAN-AI. Модель подходит для ответов на вопросы по найденным документам, извлечения релевантной информации и суммаризации контекста на немецком и английском языках. В карточке приведены результаты оценивания качества языка, правильности ответов и следования инструкциям; на наборе задач извлечения модель показала улучшение относительно указанных вариантов SFT и ORPO. Весам и коду модели указана лицензия MIT. Модель может генерировать вредный или чувствительный контент, в том числе из-за смещений, а фактические утверждения могут быть неверными и требуют проверки. Для надежных ответов следует предоставлять релевантный контекст и проверять результат.

Kiel-2-Sol — диалоговая языковая модель KielTech для генерации текста, созданная дообучением Meta Llama 3.2 3B Instruct с помощью параметрически эффективной адаптации слоёв внимания и MLP. Модель содержит 3,2 млрд параметров, использует плотную архитектуру Transformer и поддерживает контекст до 131 072 токенов; в репозитории есть веса Safetensors и варианты GGUF Q4_K_M и Q8_0. Модель предназначена для многоходовых диалогов, многошаговых рассуждений, структурированного вывода, включая JSON, и автоматизации API-сценариев. В карточке заявлен английский язык и лицензия Apache 2.0. Метаданные отмечают возможность чата; README предлагает развёртывание через vLLM, но пример ограничивает длину контекста до 2048 токенов.

mT5-XL — многоязычная модель Google на архитектуре encoder-decoder Transformer семейства T5 с 1,9 млрд параметров. Она предварительно обучена на корпусе mC4, охватывающем 101 язык, в едином формате преобразования текста в текст; доступны веса PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0. Модель служит базой для дообучения под конкретные задачи обработки естественного языка, например перевод, суммаризацию и ответы на вопросы. Сам чекпойнт прошёл только предварительное обучение без обучения на размеченных задачах, поэтому перед решением прикладных задач его необходимо дообучить. Для очень крупной модели требуется достаточно памяти и вычислительных ресурсов.

Qwen3.8-Flash-Next REAP-288 (MLX, 4-bit) — оптимизированная сборка базовой модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем sh0wie. Модель предназначена прежде всего для локального запуска на компьютерах Mac с 128 ГБ памяти и агентских сценариев в стиле Claude Code, включая генерацию и рефакторинг кода. Сборка использует библиотеку mlx-vlm и лицензию qwen-community-license-1.0. Это MoE-модель класса 180B параметров: около 125B приходится на основную модель и 51B — на таблицу n-gram-эмбеддингов. Архитектура включает 48 слоёв, чередующих Gated DeltaNet и разреженное внимание Qwen; в каждом MoE-слое используются 288 из 512 экспертов с маршрутизацией top-10. Весы мультимодальной vision tower сохранены, поэтому заявлена поддержка изображений, однако оценивалось только качество работы с текстом. Контекст и полный набор поддерживаемых языков в README не указаны. По сравнению с базовой 512-экспертной 4-битной сборкой размер на диске снижен с 98 до 68 ГБ, а результат HumanEval pass@1 составляет 91,5% против 93,9%. На Mac модель занимает около 68 ГБ оперативной памяти, либо около 39 ГБ при потоковой загрузке n-gram-таблицы с NVMe. Скорость декодирования зависит от среды и составляет примерно 28 токенов/с в стандартном mlx-vlm и 37–65 токенов/с в pmlx. Поддерживается speculative decoding с MTP, но его преимущество зависит от оборудования; на M4 прирост может отсутствовать. Ограничения включают снижение качества относительно полной сборки, недостаточно проверенную мультимодальность и высокие требования к памяти.license_name: qwen-community-license-1.0

Qwen3-Coder-30B-A3B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen/Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с квантизацией Q4_K_M, поэтому предназначена для запуска через llama.cpp, включая локальный inference и серверный режим. Модель ориентирована прежде всего на генерацию текста и задачи, связанные с программированием, однако README не содержит подробностей о поддерживаемых языках, модальностях, архитектуре, фактическом размере активной части модели и максимальной длине контекста. Ключевое преимущество этой версии — совместимость с экосистемой llama.cpp и возможность более экономичного запуска благодаря 4-битной квантизации; ограничениями могут быть потери качества по сравнению с исходной моделью и зависимость от подходящей аппаратной конфигурации. Указана лицензия Apache-2.0.

MegaBeam-Mistral-7B-512k — компактная языковая модель на 7,1 млрд параметров, представленная в работе «Scaling Context, Not Parameters: Training a Compact 7B Language Model for Efficient Long-Context Processing». Она дообучена на Mistral-7B-Instruct-v0.2 и предназначена для генерации текста и диалогов с длинными документами и контекстом до 524 288 токенов. Модель использует плотную архитектуру MistralForCausalLM и распространяется в формате Safetensors. Модель подходит для поиска фактов в объёмных текстах, многошаговых вопросов и ответов, суммирования и других сценариев, где требуется учитывать длинный контекст. В README приведены результаты оценок на NIAH, RULER и InfiniteBench; они указывают на сильное извлечение информации в некоторых тестах, но качество различается между задачами и не гарантирует результат на пользовательских данных. Для эффективного запуска длинного контекста требуются совместимые инструменты обслуживания модели и значительные вычислительные ресурсы. Лицензия — Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-GGUF — это квантованная версия языковой модели для генерации текста, созданная сообществом LM Studio на основе Qwen3-Coder-30B-A3B-Instruct от разработчика Qwen. GGUF-квантизацию выполнил bartowski с использованием llama.cpp, релиз b6014. LM Studio не является создателем или владельцем модели. Модель предназначена прежде всего для задач, связанных с программированием и генерацией текста, однако README не содержит подробностей о поддерживаемых языках программирования, естественных языках, размере контекста, конкретной архитектуре или доступных модальностях. Формат GGUF и использование llama.cpp указывают на возможность запуска в совместимой локальной инфраструктуре, но точные требования к ресурсам и параметры квантизации не указаны. Лицензия в README не указана. Модель может генерировать неточный, вредный или нежелательный контент, поэтому результаты требуют проверки, особенно при использовании в программном коде и автоматизированных сценариях.

Qwen3-Coder-480B-A35B-Instruct-GGUF — это набор квантизированных вариантов инструкционной модели Qwen3-Coder-480B-A35B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модели распространяются в формате GGUF и предназначены для запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель ориентирована на генерацию текста и задачи программирования в диалоговом режиме. README указывает шаблон запросов с ролями system, user и assistant. Доступны варианты квантизации Q2–Q8 с размером файлов примерно от 169 до 510 ГБ; версии с более высокой точностью обеспечивают лучшее качество, но требуют значительно больше оперативной памяти, а низкоразрядные варианты экономят ресурсы за счёт снижения качества. Для большинства сценариев автор рекомендует варианты Q4_K_M, Q5_K_M и Q6_K. Сильная сторона модели — большой размер исходной модели и широкий выбор квантизаций, позволяющий выбирать компромисс между качеством и требованиями к памяти. Ограничения — крайне высокие аппаратные требования даже у компактных вариантов, а также возможное ухудшение качества при использовании низких уровней квантизации. Сведения о поддерживаемых языках, размере контекста, мультимодальности и лицензии в README не указаны.

Replete-Coder-Instruct-8b-Merged-GGUF — это набор GGUF-квантизаций инструкционной модели для генерации текста и работы с исходным кодом. Базовую модель разработала команда Replete-AI, а квантизации подготовил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска в сценариях программирования, генерации и дополнения кода, а также выполнения текстовых инструкций. Доступны варианты от полноразмерного F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, включая форматы IQ. Размер файлов варьируется примерно от 3 до 32 ГБ, что позволяет выбирать между качеством и требованиями к оперативной памяти. Указано, что наиболее качественные варианты Q6 и Q5, а Q4 предлагают хороший баланс размера и качества. Модель имеет 8 миллиардов параметров; сведения о поддерживаемых языках, размере контекста, архитектуре и мультимодальности в README не приведены. К сильным сторонам относятся широкий выбор квантизаций, возможность локального использования через совместимое программное обеспечение и сохранение высокого качества у вариантов Q6 и Q5. Более компактные варианты экономят память, но могут заметно уступать по качеству, особенно Q2 и Q3. Модель распространяется по лицензии Apache-2.0.

SmallThinker-21BA3B-Instruct — языковая модель с архитектурой Mixture-of-Experts, разработанная совместно IPADS и School of AI при Shanghai Jiao Tong University и компанией Zenergize AI. Она предназначена для локального запуска на устройствах с ограниченными ресурсами, чтобы генерировать ответы без обращения к облаку. Модель содержит 21 млрд параметров, из которых активируются 3 млрд; использует 52 слоя и поддерживает контекст длиной до 16 384 токенов. Репозиторий содержит веса в формате safetensors, а карточка указывает библиотеку Transformers и возможности чата и интерфейса вызова инструментов. Модель обучена преимущественно на английском языке и подходит для диалога, ответов на вопросы, рассуждений и генерации кода. В отчёте разработчиков приведены результаты тестирования на академических и программных бенчмарках; скорость и расход памяти на CPU показаны для версии с квантованием Q4_0, тогда как в этом репозитории указаны веса safetensors. Среди ограничений — возможные фактические ошибки, предвзятость и устаревшие сведения; точность ответов необходимо проверять. Лицензия — Apache-2.0.

OpenAssistant/codellama-13b-oasst-sft-v10 — англоязычная причинная языковая модель семейства CodeLlama, дообученная командой Open-Assistant на базе Meta CodeLlama. Это плотный decoder-only трансформер с 12,9 млрд параметров и контекстом до 16 384 токенов; веса опубликованы в формате safetensors. Модель обучалась на диалоговых данных OpenAssistant и наборах Orca, а для общения использует шаблон ChatML. Модель предназначена для генерации продолжений и ответов в диалоге, в том числе для сценариев, связанных с кодом. В README указано, что обучение частично использовало системные сообщения Orca; для корректной загрузки требуется актуальная версия Transformers либо trust_remote_code=True из-за изменения RoPE Theta. Лицензия — Llama 2 Community License Agreement. Проверки описаны только для английского языка. Ответы могут быть неточными, предвзятыми или нежелательными, поэтому перед внедрением модель следует оценить и настроить с учётом конкретного применения.

GPT-4 Turbo — мультимодальная модель OpenAI с поддержкой зрения. Она предназначена для диалогов и задач, где нужно анализировать изображения вместе с текстовыми запросами. Для запросов с изображениями поддерживаются JSON mode и вызов функций. В README указано, что обучающие данные охватывают период до декабря 2023 года. Размер модели, длина контекста и условия лицензии в предоставленных материалах не описаны.

NeoHorse-1-4B-Max-Heretic-Uncensored-TURBO — разговорная текстовая модель от prithivMLmods на базе TokenRhythm/NeoHorse-1-4B, дообученной на Qwen3.5-4B. Вариант обработан инструментом Heretic для снижения числа отказов; модель рассчитана на диалоги, выполнение инструкций, использование инструментов, программирование и рассуждения. Модель имеет плотную архитектуру Qwen3.5 и около 3,4 млрд параметров, поддерживает контекст до 262 144 токенов и английский язык. В репозитории доступны веса Safetensors и сборки GGUF разных уровней квантования для запуска через Transformers или llama.cpp. Лицензия — Apache 2.0. Карточка помечает модель как экспериментальную: возможны артефакты, поэтому ответы следует проверять. Снижение числа отказов также означает, что модель может отвечать на запросы, которые обычно отклоняются.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для генерации текста, диалогов и рассуждений. Это эталонный выпуск весов BF16, предназначенный прежде всего для дообучения, адаптации к предметной области, исследований и создания производных квантованных вариантов. Архитектура сочетает слои Mamba-2, Mixture-of-Experts и Attention; в модели 30 млрд параметров, из которых активно задействуются 3 млрд, а также используются слои Multi-Token Prediction. Репозиторий содержит веса safetensors, модель работает через Transformers. Модель рассчитана на текстовые запросы и сценарии чата, включая инструкции, кодирование, агентные задачи и работу с длинным контекстом. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а в постобучающих данных представлены китайский и многоязычные задачи перевода и рассуждений. В README заявлена длина контекста до 1 млн токенов, тогда как метаданные каталога указывают нативный контекст 262 144 токена. Заявленная лицензия — other; карточка характеризует модель как пригодную для коммерческого использования. Полноточный вариант предназначен главным образом для настройки и оценки; для оптимизированного вывода NVIDIA рекомендует вариант NVFP4.

Qwen3-Coder-30B-A3B-Instruct-MLX-4bit — 4-битная квантованная версия модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX; модель оптимизирована для запуска на устройствах с Apple Silicon. Модель предназначена для генерации текста и, судя по названию исходной модели, ориентирована на задачи, связанные с программированием, однако README не содержит подробностей о поддерживаемых языках программирования, естественных языках, архитектуре, размере активной части модели, контекстном окне или доступных модальностях. Указан только формат text-generation и 4-битное представление, которое снижает требования к памяти и делает локальный запуск на Apple Silicon более практичным, но может влиять на точность по сравнению с полной версией. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или пригодность для конкретных задач; результаты могут быть ошибочными или неподходящими и требуют проверки.