II.3Рефакторинг, миграция и модернизация

Replete-LLM-Mist-Nemo-12b-GGUF — это набор квантизированных GGUF-версий языковой модели Replete-LLM-Mist-Nemo-12b, разработанной Replete-AI и преобразованной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и локального запуска в совместимых средах, включая LM Studio. В метаданных указан английский язык и лицензия Apache-2.0. Модель относится к классу текстовых генеративных моделей, имеет размер 12 млрд параметров и связана с архитектурой Mistral. Доступны варианты от F32 до компактных IQ2/Q2/Q3 и более качественных Q4–Q8-квантизаций. Размер файлов варьируется примерно от 4,44 до 49 ГБ, что позволяет выбирать между качеством генерации и требованиями к оперативной памяти. Рекомендуемыми названы, в частности, варианты Q4_K_M, Q5_K_M, Q6_K и Q6_K_L. Сильной стороной набора является широкий выбор уровней квантизации для локального использования: высококачественные варианты должны минимально отличаться от исходных весов, а компактные подходят для систем с ограниченной памятью. При этом качество снижается на более агрессивных уровнях квантизации. Контекст модели, мультимодальные возможности и дополнительные языки в README не указаны. Шаблон чата также не задан; предложенный формат является стандартным и может быть некорректен, поэтому его следует сверять с карточкой исходной модели.

Tessa-Rust-T1-7B-GGUF — квантизированная версия текстовой генеративной модели Tessa-Rust-T1-7B, разработанной Tesslate и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 7 миллиардов параметров и относится к архитектуре Qwen2 согласно метаданным. Указан английский язык; поддержка других языков и точный размер контекстного окна не приведены. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, что позволяет выбирать между качеством генерации, размером файла и требованиями к оперативной памяти. Для инференса рекомендуется использовать совместимый prompt format с ролями system, user и assistant. Сильная сторона этой версии — возможность локального запуска на широком спектре оборудования благодаря множеству вариантов квантизации; часть файлов подготовлена с использованием imatrix для повышения качества. Более низкие уровни квантизации экономят память, но могут заметно снижать качество, тогда как BF16 и старшие варианты требуют больше ресурсов. Лицензия модели — Apache-2.0.

Это GGUF-квантизация модели c4ai-command-r-v01, разработанной CohereForAI. Репозиторий duyntnet содержит варианты квантования с использованием imatrix для запуска модели в формате GGUF. Модель предназначена для генерации текста и диалоговых сценариев; в исходном README приведён пример применения через transformers с chat template Command R. Указана поддержка английского языка и задача text-generation. Архитектура, число параметров, размер контекста и точный набор вариантов квантования в предоставленных данных не указаны. Ключевое преимущество этой версии — возможность использовать квантизированную модель в формате GGUF, что может снизить требования к ресурсам по сравнению с полноразмерной моделью. Ограничения связаны с отсутствием подробностей о характеристиках конкретных квантов, производительности и совместимости. Лицензия обозначена как other; дополнительные условия использования не приведены.

code-daemon-relation-v1 — модель классификации отношений от автора faxenoff для построения графов знаний по документации. Она принимает фрагмент текста с двумя отмеченными сущностями и за один проход относит их к одному из четырёх классов: отсутствует связь, семантическое сходство, замещение или противоречие, зависимость. Модель предназначена для пакетного извлечения связей из документации, кода и комментариев к нему. В основе лежит энкодер XLM-RoBERTa на базе hotchpotch/mMiniLMv2-L12-H384; модель содержит около 124,3 млн параметров и поддерживает контекст до 514 токенов. Классификационная голова объединяет представления двух маркеров сущностей, поэтому учитывает их порядок. Заявлена поддержка многих языков; доступны веса Safetensors и форматы ONNX и Core ML, а карточка также описывает варианты запуска через TensorRT и OpenVINO. На указанном отложенном наборе модель показала macro-F1 0,60; качество зависит от класса, а границы отношений могут быть неоднозначны. Для извлечения связей README рекомендует задавать порог уверенности и проверять результаты; оба маркера должны сохраняться в контекстном окне. Лицензия — MIT.

Code Formula Model — модель семейства SAM-OPT с 152,3 млн параметров, предназначенная для извлечения текста из изображений фрагментов кода и математических формул. На вход подаётся изображение с разрешением 120 DPI; для кода модель определяет язык программирования и восстанавливает текст с сохранением отступов, а для формул выдаёт соответствующий код LaTeX. Метаданные указывают контекстное окно 4096 токенов и формат весов Safetensors. Модель подходит для переноса кода и формул из изображений в редактируемый текст, например из скриншотов или документов. Карточка не сообщает о поддерживаемых естественных языках, поэтому языковая поддержка в каталоге не перечисляется. Лицензия — MIT. Ограничение по входному качеству, указанное в карточке: изображения рассчитаны на 120 DPI.

Huihui-MoE-1B-A0.6B — языковая модель разработчика huihui.ai, созданная на основе Qwen/Qwen3-0.6B. Она использует архитектуру Qwen3MoeForCausalLM: в каждом MoE-слое есть три эксперта, из которых для каждого токена активируется один. В репозитории указано около 1,1 млрд параметров; метаданные каталога указывают 507,9 млн. Контекст модели — до 40 960 токенов. Модель предназначена для генерации текста, диалогов и ответов на вопросы. Она объединяет экспертов по программированию, математике и медицине, дообученных отдельно, с исходной моделью Qwen3-0.6B для следования инструкциям. Весовые матрицы экспертов объединены, а веса маршрутизатора инициализированы случайно; модель не дообучалась после сборки. Поэтому качество маршрутизации может быть неоптимальным, и для конкретных задач рекомендуется дообучение. Модель рассчитана на Transformers; README предупреждает о несовместимости с Ollama. Лицензия — Apache-2.0.

Huihui-Qwen3.5-397B-A17B-abliterated-GGUF — это GGUF-версия модели Qwen3.5-397B-A17B, созданная разработчиком huihui.ai с применением abliteration — экспериментальной процедуры удаления отказов модели. Модель относится к мультимодальному классу image-text-to-text и предназначена для обработки текста и изображений, включая диалоговые сценарии, рассуждения и задачи с использованием инструментов через llama.cpp. Модель имеет размер 397B параметров и архитектуру на базе Qwen3.5-397B-A17B; в идентификаторе базовой модели также указано обозначение A17B. README упоминает поддержку режима рассуждений, tool calling и контекста до 262144 токенов при запуске с llama-server. Данные о поддерживаемых языках и точном наборе модальностей не приведены. Распространение выполнено в формате GGUF, включая варианты квантования Q3_K, состоящие из нескольких частей, которые требуется объединить перед использованием. Главная особенность модели — значительно сниженная фильтрация безопасности и уменьшенное количество отказов, что может быть полезно для исследований и контролируемого тестирования, но повышает риск чувствительных, спорных или неприемлемых ответов. Модель не рекомендуется для публичных и высокорисковых производственных сценариев без постоянного мониторинга и ручной проверки результатов. Указана лицензия Apache-2.0; при использовании необходимо также учитывать юридические и этические требования.

Kai-0.35B-Instruct — компактная инструктивно дообученная языковая модель NoesisLab на архитектуре LlamaForCausalLM с плотной сетью и примерно 361,8 млн параметров. Она предназначена для диалогов, рассуждений, математических задач и генерации кода; заявленная длина контекста — 8192 токена. Модель принимает текст и генерирует текст на английском языке. В карточке приведены результаты тестов ARC-Challenge, HellaSwag, PIQA и MBPP, включая показатель pass@1 на MBPP. Модель распространяется в формате safetensors по лицензии Apache-2.0. Показатели в README относятся к указанным там настройкам оценки и сами по себе не гарантируют аналогичное качество в других задачах или условиях.

Карточка модели jacobolopez/Mistral-7B-v0.1-sharded на Hugging Face совпадает с карточкой mistralai/Mistral-7B-v0.1, поэтому описание составлено по ней. Mistral-7B-v0.1 — предварительно обученная генеративная языковая модель команды Mistral AI с плотной архитектурой Transformer и примерно 7,1 млрд параметров. Она предназначена для генерации продолжения текста и служит базовой моделью для дальнейшей адаптации под конкретные задачи. Модель использует Grouped-Query Attention, Sliding-Window Attention и токенизатор Byte-fallback BPE. Родной контекст составляет 32 768 токенов. Карточка указывает английский язык; модель доступна в форматах PyTorch и safetensors и рассчитана на работу с библиотекой Transformers. По заявлению разработчиков, на проверенных ими бенчмарках модель превосходила Llama 2 13B. Это базовая модель без механизмов модерации, поэтому сгенерированный текст может быть нежелательным или небезопасным. Лицензия — Apache-2.0.

unsloth/Mistral-Nemo-Base-2407-bnb-4bit — это 4-битная версия базовой языковой модели Mistral Nemo, подготовленная Unsloth и предназначенная для работы с библиотекой Transformers. В README также упоминается вариант Mistral Nemo на 12 миллиардов параметров, однако точный размер именно этой сборки явно не подтверждён. Модель предназначена для дальнейшего дообучения и выполнения задач генерации и продолжения текста, включая настройку на собственных наборах данных. Unsloth предоставляет сценарии дообучения через Google Colab и заявляет снижение потребления памяти и ускорение процесса; модель также можно экспортировать в форматы GGUF и vLLM. Указан английский язык, но другие языки и мультимодальные возможности не описаны. Ключевая особенность сборки — 4-битное квантование в формате bnb, что снижает требования к памяти по сравнению с полноразмерной моделью, но может повлиять на точность. Архитектурные параметры, размер контекста, результаты оценки и ограничения применения в README не приведены. Модель распространяется по лицензии Apache-2.0.

TSalpha выпустил квантованный вариант Ornith-1.5-35B-A3B с миксом уровней квантования и методом REAP-50, рассчитанный на запуск на видеокартах с 12 ГБ памяти. Это MoE-модель для генерации текста и диалогов; исходная модель — ornith-ai/Ornith-1.5-35B-A3B, а в README также указан вариант Ttimms/Ornith-1.5-35B-A3B-REAP-50-bf16. Репозиторий содержит веса в формате GGUF для llama.cpp. В README заявлена работа с контекстом до 256K токенов при соответствующих параметрах запуска и приведены результаты сравнения perplexity с исходной моделью и другими вариантами квантования. По данным автора, файл IQ4_XS занимает 7,39 ГиБ; тестирование проводилось на ноутбучной RTX 5070 Ti с 12 ГБ памяти. Модель подходит для диалогов и агентного программирования, однако скорость и качество зависят от оборудования и выбранных параметров. Лицензия — MIT.

Qwen3.6-40B-Grand-Intelligence-Fable-Fusion-Uncensored-Heretic — экспериментальная 40-миллиардная мультимодальная модель семейства Qwen3.5 от DavidAU, основанная на дообученной Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Автор описывает её как дальнейшую модификацию Qwen3.6-40B-Grand-Intelligence с объединением нескольких моделей Fable Fusion и заявляет о сокращении объёма рассуждений при генерации. Архитектура — плотная Qwen3.5 для условной генерации текста и изображений; модель распространяется в формате safetensors и предназначена для работы через Transformers. Модель рассчитана на диалог, рассуждения, написание художественных текстов и ролевые сценарии, а также программирование и анализ изображений. В карточке перечислены английский и китайский языки. Автор предупреждает, что это незавершённая работа: модель проходила тестирование и бенчмаркинг, а результаты и название могли измениться. Лицензия — Apache-2.0; пометка uncensored указывает на ослабленные ограничения генерации, поэтому выводы могут включать нежелательный или неподходящий контент.

Qwen3.8-27B-Uncensored-OrcaRouter-GGUF — неофициальный релиз от chimingw, представляющий конвертированные и квантизированные GGUF-версии модели orcarouter/Qwen3.8-27B-Uncensored-FP8, основанной на Qwen3.8-27B от Qwen/Alibaba. В релизе не выполнялись дообучение, объединение моделей или изменения выравнивания; веса преобразованы из FP8 в BF16 и затем квантизированы для llama.cpp. Это плотная модель с 27 миллиардами параметров и гибридной архитектурой, сочетающей линейное внимание Gated DeltaNet и полное внимание. Она относится к мультимодальным vision-language моделям, поддерживает текст и изображения, заявленные языки — английский и китайский. Модель предназначена для локального запуска, генерации текста, рассуждений, вызова инструментов и мультимодальных сценариев. В конфигурации указан контекст до 262 144 токенов, однако фактическая поддержка зависит от runtime, доступной памяти, совместимого мультимодального проектора и клиента. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M без importance matrix. Дополнительно поставляется MTP-компаньон Q8_0 для speculative decoding; он не является самостоятельной чат-моделью. Сильными сторонами являются большой контекст, мультимодальность, поддержка инструментов и несколько вариантов размера и качества квантизации. Ограничения включают зависимость от совместимого llama.cpp-окружения и локальных ресурсов, отсутствие встроенных защитных механизмов из-за abliteration, а также то, что заявленные характеристики исходной модели не были независимо проверены авторами этого репозитория. Модель предназначена только для контролируемых исследовательских и оценочных сценариев и не должна использоваться в пользовательских или производственных системах без собственных механизмов безопасности. Релиз распространяется по Apache License 2.0 в соответствии с прямым источником.

Huangsssz/SmolLM3-3B-MOPD-PG-SGD-lr2p5e-3-NoThinking-500 — исследовательский чекпойнт языковой модели SmolLM3, созданный дообучением BytedTsinghua-SIA/Open-MOPD-SmolLM3-3B-MixSFT. Модель содержит 3,1 млрд параметров, использует плотную архитектуру SmolLM3ForCausalLM и экспортирована в BF16 в формате Safetensors; заявленная длина контекста — 65 536 токенов. Чекпойнт получен после 500 обновлений методом дистилляции с обучением по policy gradient на ответах, оцениваемых профильными учителями для математики, программирования и следования инструкциям. Обучение и оценивание выполнялись с отключённым режимом рассуждений; шаблон чата поддерживает соответствующую настройку при инференсе. Модель предназначена для генерации ответов и экспериментов с математическими, программными и инструкционными задачами. Приведённые в карточке оценки ещё не завершены, поэтому качество по этим бенчмаркам оценить нельзя. Лицензия — Apache-2.0.

GPT-5.6 Terra — языковая модель OpenAI общего назначения, предназначенная для рабочих сценариев, где важен баланс возможностей и стоимости. Она поддерживает рассуждение с настраиваемым уровнем усилий, вызов функций, структурированный вывод и работу с инструментами через Responses API. Модель принимает текст и изображения, а выдаёт текст; заявленное окно контекста — 1 050 000 токенов, максимальный объём ответа — 128 000 токенов. Terra подходит для программирования, анализа и создания документов, поиска по информации и выполнения многошаговых задач с инструментами. В API доступны веб-поиск, поиск по файлам, интерпретатор кода и управление компьютером. OpenAI указывает, что аудио- и видеовходы не поддерживаются. Модель предоставляется через API и сервисы OpenAI; открытая лицензия на веса не указана.

Mistral-Large-Instruct-2407-GGUF — квантизированная версия Mistral Large 2, разработанная Mistral AI и подготовленная в формате GGUF сообществом LM Studio; квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалогов, выполнения инструкций, рассуждений, работы с многоязычными запросами, извлечения данных и интеграции в бизнес-приложения через вызов функций. Модель поддерживает контекст до 128 000 токенов, десятки языков, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский, японский, корейский, арабский и хинди, а также более 80 языков программирования, среди которых Python, Java, C, C++, JavaScript и Bash. Ключевые сильные стороны — улучшенное следование инструкциям, диалоговые возможности, retrieval-навыки и поддержка последовательных и параллельных вызовов функций. При этом, как и другие генеративные модели, она может ошибаться или создавать недостоверный контент; конкретные характеристики производительности зависят от выбранного уровня квантизации. Модель распространяется по лицензии MRL-0.1; условия следует проверять в тексте лицензии Mistral.

Qwen2.5-32B-Instruct-GGUF — языковая instruction-tuned модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для генерации текста, диалоговых сценариев, следования инструкциям, программирования, математических задач, работы со структурированными данными и создания структурированных ответов, включая JSON. Модель поддерживает более 29 языков, в том числе английский, китайский, русский, французский, испанский, немецкий, японский и арабский. Модель представляет собой causal language model в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в Attention QKV. Она содержит 32,5 млрд параметров, из которых 31 млрд — непараметры эмбеддингов, 64 слоя и GQA с 40 головами для Q и 8 для KV. Полная длина контекста GGUF-версии составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, обработка длинных текстов, таблиц и структурированных форматов, а также устойчивость к разнообразным системным промптам. Ограничение GGUF-версии — контекст до 131 072 токенов требует YARN и на данный момент поддерживается только в vLLM; для такого сценария рекомендуется использовать не-GGUF версии. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-72B-Instruct-GPTQ-Int8 — инструкционно дообученная крупная языковая модель семейства Qwen2.5, разработанная командой Qwen, связанной с Alibaba Cloud. Это каузальная текстовая модель для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель содержит 72,7 млрд параметров, из которых 70 млрд не относятся к эмбеддингам, и построена на архитектуре Transformer с RoPE, SwiGLU, RMSNorm, смещениями QKV в механизме внимания и GQA. Она имеет 80 слоёв, 64 головы внимания для Q и 8 для KV. Модель поддерживает более 29 языков, включая английский, китайский, французский, испанский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Заявленная длина контекста составляет до 131 072 токенов, а максимальная длина генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. К сильным сторонам относятся улучшенные способности к программированию и математике, следование инструкциям, генерация длинных текстов, понимание таблиц и устойчивость к разнообразным системным промптам. GPTQ-квантизация до 8 бит снижает требования к памяти по сравнению с исходной версией, но модель остаётся ресурсоёмкой из-за большого размера. При использовании статического YaRN производительность на коротких запросах может снижаться. Для работы рекомендуется актуальная версия Transformers; лицензия указана как Qwen с отдельным файлом условий.

Qwen3-235B-A22B-GGUF — квантованная версия причинной языковой модели Qwen3-235B-A22B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, написания кода, творческих задач, ролевого общения, перевода и создания агентных приложений с интеграцией внешних инструментов. Это MoE-модель общим объёмом 235 млрд параметров, из которых 22 млрд активируются при обработке запроса; 234 млрд параметров относятся к не-embedding части. Архитектура включает 94 слоя, 128 экспертов, 8 активных экспертов и Grouped-Query Attention с 64 Q- и 4 KV-головами. Модель поддерживает более 100 языков и диалектов, нативный контекст до 32 768 токенов и до 131 072 токенов с использованием YaRN. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. К сильным сторонам относятся переключение между режимами рассуждения и обычного ответа, развитые способности к математике, программированию, многошаговому рассуждению, диалогам и работе с инструментами. Ограничения связаны с большими требованиями к вычислительным ресурсам из-за общего размера модели, а использование YaRN на относительно коротких текстах может снижать производительность. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-32B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 32 млрд параметров для диалога и генерации текста; поддерживает интерфейс вызова инструментов. В архитектуре используются RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для следования инструкциям, написания длинных ответов, работы с таблицами и другими структурированными данными, а также генерации структурированного вывода, включая JSON. Она также подходит для задач программирования и математики. В README заявлена поддержка более 29 языков, включая русский и английский. Метаданные указывают контекст в 32 768 токенов; для этой версии README рекомендует конфигурацию до 131 072 токенов с YaRN для длинных входов, а генерацию — до 8 192 токенов. Модель распространяется в формате safetensors и работает через Transformers. Лицензия — Apache-2.0. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; статическое масштабирование YaRN в vLLM может ухудшать производительность на коротких текстах.

Qwen3-32B-GGUF — квантизированная версия крупной языковой модели Qwen3-32B, разработанной Alibaba Cloud. Это авторегрессионная causal language model для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Модель содержит 32,8 млрд параметров, из них 31,2 млрд не относятся к embedding, и включает 64 слоя. Используется Grouped-Query Attention: 64 головы для запросов и 8 для ключей и значений. Поддерживаются режимы thinking для сложного рассуждения и non-thinking для более быстрых общих диалогов; между ними можно переключаться в рамках одной модели. Заявлена поддержка более 100 языков и диалектов. Нативная длина контекста составляет 32 768 токенов, а с использованием YaRN модель протестирована на контекстах до 131 072 токенов. Основные преимущества — сочетание рассуждения, следования инструкциям, многоязычности и агентских возможностей, а также возможность выбирать баланс между качеством рассуждений и скоростью ответа. Модель распространяется в форматах GGUF с вариантами квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что облегчает локальный запуск через llama.cpp или Ollama. Ограничения включают возможное снижение качества на коротких текстах при неподходящей статической настройке YaRN, риск повторов при неоптимальных параметрах генерации и потенциальное смешение языков при чрезмерном presence penalty. Лицензия — Apache-2.0.

unsloth/Qwen3-32B-unsloth-bnb-4bit — 4-битная версия языковой модели Qwen3-32B, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная causal language model с 32,8 млрд параметров, из которых 31,2 млрд не относятся к embedding, и 64 слоями. Модель поддерживает более 100 языков и диалектов, включая английский, и предназначена для работы через Transformers. Модель подходит для диалогов, следования инструкциям, генерации и анализа кода, математических и логических задач, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с использованием внешних инструментов. Она поддерживает переключение между thinking mode для сложного рассуждения и non-thinking mode для более быстрых ответов в рамках одной модели. Используется Grouped Query Attention: 64 головы для запросов и 8 для ключей и значений. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN может достигать 131 072 токенов. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска и дообучения, однако может сопровождаться потерей точности по сравнению с полноразмерными вариантами. Модель предназначена только для обработки текста; сведения о других модальностях в README отсутствуют. Лицензия — Apache-2.0, согласно ссылке на лицензию базовой модели Qwen/Qwen3-32B.

Mistral Small 4 119B A6B — мультимодальная модель общего назначения от Mistral AI, объединяющая возможности семейств Instruct, Reasoning и Devstral. Архитектура MoE содержит 128 экспертов, из которых активны 4; всего модель насчитывает 119 млрд параметров, а на токен активируется 6,5 млрд. Контекстное окно — 256 тысяч токенов. Репозиторий содержит веса safetensors в формате FP8. Модель принимает текст и изображения и выдаёт текст. Она предназначена для диалоговых ассистентов, рассуждений, программирования, агентных сценариев с вызовом функций, разбора документов и анализа изображений. Режим рассуждений можно настраивать для каждого запроса; заявлена поддержка множества языков, включая русский. Для инференса рекомендована библиотека vLLM. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование. В метаданных не указаны базовая модель или отдельное дообучение; FP8 здесь обозначает точность представленных весов. Для запуска README рекомендует актуальный vLLM, а для Transformers — основную ветку проекта.

Карточка модели ArchiveStudio/Qwen2.5-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-32B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это плотная авторегрессионная модель на 32 млрд параметров для диалога и генерации текста; поддерживает интерфейс вызова инструментов. В архитектуре используются RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV внимания. Модель предназначена для следования инструкциям, написания длинных ответов, работы с таблицами и другими структурированными данными, а также генерации структурированного вывода, включая JSON. Она также подходит для задач программирования и математики. В README заявлена поддержка более 29 языков, включая русский и английский. Метаданные указывают контекст в 32 768 токенов; для этой версии README рекомендует конфигурацию до 131 072 токенов с YaRN для длинных входов, а генерацию — до 8 192 токенов. Модель распространяется в формате safetensors и работает через Transformers. Лицензия — Apache-2.0. Для контекстов длиннее 32 768 токенов требуется настройка YaRN; статическое масштабирование YaRN в vLLM может ухудшать производительность на коротких текстах.

Qwen2.5-32B-Instruct-GPTQ-Int8 — инструкцияно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen при Alibaba Cloud. Это каузальная текстовая модель для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание длинных текстов, программирование, математические задачи, работу со структурированными данными и формирование структурированных ответов, в том числе JSON. Модель содержит около 32,5 млрд параметров, из которых 31 млрд приходятся на непараметрическую часть без эмбеддингов, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-внимании; применяется Grouped Query Attention с 40 головами Q и 8 головами KV. Модель поддерживает текстовый ввод и вывод, более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Заявленная максимальная длина контекста составляет 131 072 токена, а генерации — 8192 токена; для контекстов свыше 32 768 токенов требуется настройка YaRN. GPTQ-квантизация до 8 бит снижает требования к памяти и подходит для локального или серверного развертывания, однако квантизация может влиять на качество по сравнению с исходной версией в формате bfloat16. При использовании YaRN со статическим коэффициентом масштабирования производительность на коротких текстах может ухудшаться. Для работы рекомендуется актуальная версия библиотеки Transformers, а для длинного контекста — vLLM. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-14B-GGUF — GGUF-версия языковой модели Qwen3-14B, разработанной командой Qwen компании Alibaba Cloud и подготовленной для распространения Unsloth. Это причинно-следственная языковая модель с 14,8 млрд параметров, из которых 13,2 млрд не относятся к эмбеддингам; она включает 40 слоёв и использует Grouped-Query Attention с 40 головами запросов и 8 головами ключей и значений. Модель предназначена для диалогов, следования инструкциям, генерации кода, математического и логического рассуждения, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов. Qwen3-14B позволяет переключаться между режимами рассуждения и без рассуждения, выбирая баланс между качеством решения сложных задач и скоростью ответа. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp и Ollama; README также указывает возможность использования через Open WebUI. Конкретные требования к оборудованию и производительность зависят от варианта квантования и среды запуска и в представленных данных не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507 — крупная языковая модель семейства Qwen3 от команды Qwen. Это причинная MoE-модель с 235 млрд параметров всего и 22 млрд активируемых параметров; в архитектуре 94 слоя и 128 экспертов, из которых для обработки активируются 8. Модель работает в режиме без пошагового рассуждения и предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Модель подходит для следования инструкциям, логических рассуждений, понимания текста, математики, науки, программирования и вызова инструментов. Она рассчитана на многоязычные сценарии и заявляет улучшенный охват редких знаний на разных языках. Нативное контекстное окно составляет 262 144 токена; README описывает расширение до примерно 1,01 млн токенов с использованием Dual Chunk Attention и MInference. К сильным сторонам относятся широкие общие возможности, работа с длинными документами и поддержка интерфейса вызова инструментов. Контекст около миллиона токенов требует специальной настройки и примерно 1000 ГБ суммарной памяти GPU, поэтому такое развертывание предъявляет очень высокие аппаратные требования. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507 — большая языковая модель, разработанная командой Qwen и представленная в формате GGUF компанией Unsloth. Это каузальная модель для генерации текста, дообученная для выполнения инструкций. Она предназначена для диалогов, следования указаниям, логического рассуждения, понимания текста, математики, научных задач, программирования, использования инструментов и работы с открытыми субъективными запросами. Модель поддерживает широкий спектр языков и рассчитана на приложения, требующие высокого качества ответов и обработки длинных документов. Модель построена на архитектуре Mixture of Experts: содержит 235 млрд параметров, из которых 22 млрд активируются при обработке токена, 94 слоя, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 64 головами Q и 4 головами KV; контекстное окно составляет 262 144 токена. Модель работает только в нережиме рассуждений и не генерирует блоки <think></think>. К сильным сторонам относятся улучшенные знания, многоязычность, следование инструкциям, математическое и логическое рассуждение, программирование, работа с инструментами и понимание длинного контекста. Ограничения включают отсутствие режима рассуждений и высокие требования к вычислительным ресурсам, характерные для модели такого размера; точные требования к оборудованию в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. Указанный репозиторий содержит GGUF-представление, подготовленное Unsloth; базовая модель — Qwen/Qwen3-235B-A22B-Instruct-2507.

Qwen3-30B-A3B-GGUF — квантизированное представление причинной языковой модели Qwen3-30B-A3B, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации текста, диалогов, следования инструкциям, математического и логического рассуждения, программирования, творческого письма, ролевого взаимодействия, перевода и агентских сценариев с интеграцией внешних инструментов. Она поддерживает более 100 языков и диалектов и допускает переключение между режимами рассуждения и обычного диалога в рамках одной модели. Модель построена по архитектуре mixture-of-experts (MoE): содержит 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса; число слоёв — 48, используется Grouped-Query Attention с 32 головами Q и 4 головами KV, 128 экспертами и 8 активируемыми экспертами. Нативная длина контекста составляет 32 768 токенов, а с применением YaRN заявлена поддержка до 131 072 токенов. Доступны варианты квантизации q4_K_M, q5_0, q5_K_M, q6_K и q8_0 в формате GGUF. Сильные стороны модели — сочетание возможностей рассуждения и эффективного режима общего назначения, мультиязычность, следование инструкциям и поддержка агентских задач. Ограничения включают возможное снижение качества на коротких текстах при некорректно настроенном статическом YaRN, а также зависимость производительности и требований к ресурсам от выбранного уровня квантизации и конфигурации запуска. Модель распространяется по лицензии Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-FP8 — причинная языковая модель семейства Qwen, разработанная командой Qwen. Это FP8-версия модели Qwen3-30B-A3B-Instruct-2507, предназначенная для генерации текста в режиме без скрытого рассуждения и без блоков <think></think>. Модель ориентирована на следование инструкциям, логическое рассуждение, понимание текста, математику, естественные науки, программирование, использование инструментов, открытые и субъективные текстовые задачи, а также работу с длинным контекстом и несколькими языками. Она поддерживает контекст длиной до 262 144 токенов. Архитектура — Mixture of Experts: 30,5 млрд параметров всего, из них 3,3 млрд активируются на запрос; модель содержит 48 слоёв, 128 экспертов и активирует 8 экспертов, использует GQA с 32 головами Q и 4 головами KV. К сильным сторонам относятся улучшенные instruction following, качество генерации, математические и кодовые способности, расширенное покрытие редких знаний на разных языках и повышенное качество работы с длинным контекстом. Ограничение модели — поддержка только нерassуждающего режима, поэтому она не предназначена для генерации явных цепочек рассуждений в формате <think></think>. Для использования рекомендуются актуальные версии transformers, а для развёртывания — SGLang или vLLM. Модель распространяется по лицензии Apache-2.0.