II.10Разработка и эксплуатация AI/ML-систем

MeliodasT3qm7_Strangemerges_32T3q — объединённая модель Mistral, созданная слиянием automerger/MeliodasT3qm7-7B и automerger/Strangemerges_32T3q-7B. Она предназначена для генерации текста и диалоговых ответов. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает специализированные области применения, поддерживаемые языки или конкретные ограничения качества. Оценить сильные стороны и ограничения слияния по представленным сведениям нельзя.

mergekit-community/mergekit-slerp-xirdwrw — объединённая языковая модель на архитектуре Llama, созданная сообществом с помощью mergekit. В слиянии методом SLERP использованы anthracite-org/magnum-v3-34b и abacusai/Smaug-34B-v0.1; модель содержит 33,9 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов. В конфигурации слияния задан профиль, который сочетает влияние моделей в разных слоях; метаданные также указывают поддержку чата. Модель доступна в формате safetensors и использует библиотеку Transformers. README и метаданные не сообщают лицензию и конкретные результаты оценки качества. Практическое качество ответов и пригодность для отдельных сценариев следует проверять на собственных задачах.

Mergerix-7b-v0.4 — объединённая языковая модель, опубликованная MiniMoog и созданная с помощью LazyMergekit из liminerity/M7-7b и automerger/YamshadowExperiment28-7B методом slerp. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Она принимает текст и формирует текстовые ответы; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. README не описывает специализацию, оценку качества или ограничения применения, поэтому конкретные преимущества и недостатки сверх указанных характеристик установить нельзя.

Это 4-битная MLX-конверсия модели Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная сообществом mlx-community из mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated с помощью mlx-lm 0.17.1. В основе лежит дообученная Meta-Llama-3.1-8B-Instruct; модель предназначена для диалоговой генерации текста и запуска на устройствах Apple с MLX. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Контекст составляет до 131 072 токенов. Вариант abliterated позиционируется как менее ограниченный в ответах; это не гарантирует точность или безопасность результатов. Репозиторий указывает лицензию Llama 3.1; её условия распространяются на использование модели.

Q-bert/MetaMath-Cybertron-Starling — объединённая языковая модель, созданная слиянием Q-bert/MetaMath-Cybertron и berkeley-nest/Starling-LM-7B-alpha методом slerp. Она использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате ChatML, включая ответы на математические вопросы и ведение беседы на английском языке. В карточке указана оценка 71,35 в среднем по представленным тестам Open LLM Leaderboard; также приведены результаты ARC и HellaSwag. Модель принимает текст и генерирует текст. Репозиторий распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Mika-Lelantacles-7b-Longtext — объединённая методом SLERP языковая модель семейства Mistral, созданная Nitral-Archive на основе Nitral-AI/Mika-Longtext-7b и ChaoticNeutrals/Prima-LelantaclesV7-experimental-7b. Она предназначена для генерации текста и диалогового взаимодействия; может применяться для ответов на вопросы, написания и продолжения текстов, а также работы с длинными запросами в пределах контекста до 32 768 токенов. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Веса опубликованы в формате safetensors; для работы указан Transformers. В README приведены результаты оценки на нескольких бенчмарках, включая средний балл 70,86, AI2 Reasoning Challenge и HellaSwag. Лицензия обозначена как other, поэтому условия использования следует проверять в карточке и у исходных моделей. Карточка не описывает языковой охват и конкретные ограничения качества; это следует учитывать при выборе модели для специализированных задач.

MiniMax-M2-MLX-8bit — это 8-битная квантованная версия языковой модели MiniMax-M2, разработанной компанией MiniMaxAI. Данная версия подготовлена командой LM Studio на базе MLX и предназначена для локального запуска на компьютерах Apple Silicon, в том числе через LM Studio. Модель относится к классу text-generation и рассчитана на задачи генерации текста и диалогового взаимодействия. Она использует архитектуру и возможности исходной MiniMax-M2, однако в предоставленных данных не указаны точные размер модели, архитектурные параметры, поддерживаемые языки, объём контекстного окна и сведения о мультимодальности. Ключевая особенность версии — 8-битное квантование и оптимизация с помощью MLX для устройств Apple Silicon, что делает её более подходящей для локального использования при ограниченных ресурсах по сравнению с полноразмерной версией. Ограничения включают возможное снижение точности из-за квантования, зависимость от совместимого оборудования и отсутствие подробных данных о качестве, производительности и области применения. Модель распространяется по лицензии MIT.

miquliz-120b-v2.0 — крупная языковая модель на архитектуре Llama, созданная wolfram как линейное слияние слоёв miqu-1-70b-sf и lzlv_70b_fp16_hf с помощью mergekit. В README указано 120 млрд параметров, 140 слоёв и контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов; в карточке приведён шаблон запросов Mistral [INST]...[/INST]. Модель рассчитана на английский, немецкий, французский, испанский и итальянский языки. Репозиторий содержит веса Safetensors; для модели также опубликованы сторонние квантизованные сборки GGUF и EXL2. README сообщает о высоких результатах во внутренних сравнениях автора, но не приводит методику или независимые оценки. Лицензия в метаданных обозначена как other; автор также упоминает происхождение части весов из утёкшей модели, поэтому правовой статус и условия использования требуют отдельной проверки.

ehristoforu/mistral-distil-test-3 — текстовая генеративная модель на архитектуре Mistral, созданная с помощью mergekit методом passthrough на основе unsloth/Mistral-Nemo-Instruct-2407. В README приведена конфигурация объединения слоёв исходной модели; метаданные указывают 9 млрд параметров и формат safetensors. Модель предназначена для генерации текста и диалогового взаимодействия. Карточка не описывает специальные предметные области или отдельные функции помимо текстовой генерации и чата. В метаданных указан контекст 1 024 000 токенов. Модель опубликована под идентификатором Hugging Face, однако сведения о лицензии в предоставленных данных отсутствуют.

stromano02/model — дообученная языковая модель семейства Llama на основе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit. Разработчик — stromano02; модель обучена с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и диалогового общения, а также поддерживает интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Контекстное окно составляет до 131 072 токенов. Репозиторий содержит веса в форматах GGUF и safetensors; указана поддержка английского языка. Лицензия — Apache-2.0. README не описывает специальную предметную область или конкретные преимущества дообучения.

Monstral-123B-v2-GGUF — это квантизированная версия текстовой генеративной модели Monstral-123B-v2, разработанной MarsupialAI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для диалогового взаимодействия и генерации текста, включая локальный запуск через llama.cpp и LM Studio. Указан английский язык, а рекомендуемый формат запроса — шаблон [INST]. Модель содержит 123B параметров, однако сведения о конкретной архитектуре, размере контекста и поддерживаемых модальностях в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ1_M: более высокие разрядности сохраняют лучшее качество, но требуют значительно больше памяти, тогда как низкоразрядные варианты экономичнее, но заметно уступают по качеству. Рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; размер файлов варьируется примерно от 28 до 130 ГБ. Основные преимущества — возможность локального запуска, широкий выбор компромиссов между качеством и требованиями к памяти, а также оптимизации для некоторых ARM- и AVX-систем. Ограничения включают очень высокие аппаратные требования для крупных вариантов и снижение качества у низкоразрядных квантизаций; отдельные варианты имеют ограничения совместимости, например Q4_0_8_8 не рекомендуется для Mac. Лицензия указана как other с названием mrl, но её подробные условия в README не раскрыты.

Moonshine Tiny PT v08 — дообученная модель распознавания речи на базе aomocelin/moonshine_tiny_pt_v05. Она предназначена для преобразования аудио в текст; архитектура — MoonshineForConditionalGeneration, файлы модели представлены в формате safetensors. В README приведены результаты оценки: loss 0,4744 и WER 5,8564, однако описание набора данных и условий оценки отсутствует. Контекст модели составляет 194 токена. Модель распространяется по лицензии MIT.

Muse-Glimmer-30B-GGUF — квантизированная версия модели Muse-Glimmer-30B, разработанной meta-models. Модель распространяется в формате GGUF для запуска через llama.cpp и поддерживает текстовый ввод, а также изображения при использовании файла mmproj. Заявлена поддержка MTP и imatrix-квантизации. Объём модели составляет 30 млрд параметров. Модель предназначена для мультимодальных сценариев, в которых требуется обрабатывать текст и изображения, однако конкретные задачи, языки и размер контекстного окна в карточке не указаны. Доступны варианты с разными уровнями квантизации: от BF16 и Q8_0 до более компактных Q2–Q6 и IQ-форматов; рекомендуемым универсальным вариантом назван Q4_K_M размером 17,31 ГБ. Более компактные варианты экономят память, но могут снижать качество, а высокоточные требуют значительных ресурсов. Квантизацию выполнил bartowski с использованием llama.cpp. Лицензия — Apache-2.0.

BigBubba-Qwen3.6-27B-GGUF — это квантизированная версия модели BigBubba-Qwen3.6-27B, разработанной nbeerbower и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и мультимодальных сценариев с анализом изображений при наличии отдельного файла mmproj. Заявлена поддержка английского и китайского языков. Модель содержит около 27,4 млрд параметров, поддерживает текстовый и графический ввод, а также MTP. В репозитории доступны варианты от исходных BF16-весов до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3; это позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Для большинства сценариев предлагается вариант Q4_K_M размером около 17,77 ГБ, а варианты Q6_K_L и Q6_K позиционируются как решения с очень высоким качеством. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска через совместимые инструменты llama.cpp и поддержка изображений. Ограничениями выступают значительный размер модели, необходимость подходящего объёма оперативной или видеопамяти и использование отдельного mmproj-файла для мультимодального режима. Длина контекста и более подробные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

Dumpling-Qwen2.5-32B-v2-GGUF — набор квантизированных GGUF-версий текстовой генеративной модели Dumpling-Qwen2.5-32B-v2, разработанной nbeerbower и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Доступны варианты квантизации от Q8_0 до форматов Q3 и IQ3/IQ4, с размером файлов примерно от 14,81 до 34,82 ГБ. Более крупные варианты обеспечивают более высокое качество, а младшие позволяют снизить требования к оперативной памяти; среди рекомендуемых указаны Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS. Для взаимодействия указан шаблон prompt в формате ChatML с маркерами <|im_start|> и <|im_end|>. Это текстовая модель без заявленной поддержки изображений или других модальностей. В README не указаны контекстное окно, поддерживаемые языки, точная архитектура и результаты бенчмарков, поэтому эти характеристики нельзя оценить по доступным данным. Ограничения зависят от выбранного уровня квантизации и доступных ресурсов; варианты с меньшим размером могут обеспечивать более низкое качество. Лицензия — Apache-2.0.

NeuralsirkrishnaShadow_Experiment28Inex12 — объединённая языковая модель на архитектуре Mistral, созданная слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/Experiment28Inex12-7B. Она предназначена для генерации текста и может использоваться в диалоговых и текстовых приложениях. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает специальные предметные области или подтверждённые ограничения качества, поэтому её возможности следует оценивать на целевых задачах.

NeuralsirkrishnaShadow_Strangemerges_32Experiment28 — объединённая языковая модель на архитектуре Mistral, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/Strangemerges_32Experiment28-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста, включая диалоговые сценарии и продолжение текстовых запросов. Контекст модели достигает 32 768 токенов. Репозиторий содержит веса в формате safetensors. В карточке не описаны языковая специализация или дополнительные возможности, поэтому её назначение можно определить как генерацию текста общего назначения. Модель распространяется по лицензии Apache-2.0.

Это 4-битная версия модели Nous-Hermes-2-Mixtral-8x7B-DPO, преобразованная в формат MLX сообществом mlx-community. Она основана на дообученной NousResearch модели Mixtral-8x7B и предназначена для диалоговой генерации текста и выполнения инструкций. Архитектура — разреженная Mixture of Experts (MoE); модель поддерживает контекст до 32 768 токенов и рассчитана на английский язык. Модель подходит для чат-ботов, ответов на вопросы, помощи с письмом и других задач генерации текста по инструкциям. Репозиторий содержит веса в формате safetensors и предназначен для запуска с MLX. Лицензия — Apache-2.0.

Open_Gpt4_8x7B_v0.1 — языковая модель, опубликованная rombodawg и собранная методом TIES из notux-8x7b-v1 и UNAversal-8x7B-v1beta на основе MixtralOrochi8x7B. Она предназначена для генерации текста и диалоговых сценариев по шаблону Alpaca. Архитектура — MixtralForCausalLM с разреженной смесью экспертов; в метаданных указано 7,1 млрд параметров и контекст 32 768 токенов. Доступны веса в формате safetensors; README указывает тип данных float16. Модель объединяет возможности исходных Mixtral-моделей и может применяться для ответов на вопросы, написания и преобразования текста. Автор рассматривает её как эксперимент с целью расширить возможности базовой модели и отмечает, что для оценки качества требуется дополнительное тестирование. Лицензия — CC BY 4.0.

vmajor/Orca2-13B-selfmerge-26B — языковая модель для генерации текста, созданная слиянием microsoft/Orca-2-13b с самой собой с помощью mergekit-legacy. В репозитории указаны параметры слияния weight 0.5 и density 0.5; метаданные описывают модель как плотную LlamaForCausalLM с 12,9 млрд параметров и контекстом 4096 токенов. Файлы опубликованы в формате safetensors. Модель предназначена для генерации текста и решения задач общего назначения, включая ответы на вопросы и математические задачи. В README сообщается о небольшом улучшении perplexity и росте результата GSM8K относительно исходной Orca-2-13b; остальные приведённые бенчмарки показывают близкие результаты. Лицензия — Microsoft Public License (MS-PL).

OrcaMaidXL-17B-32k — экспериментальная объединённая языковая модель автора ddh0 на архитектуре Llama. Она сочетает слои Microsoft Orca-2-13b и Noromaid-v0.2-13b; в README базовой моделью также названа Llama 2. Модель содержит около 17,3 млрд параметров и поддерживает контекст до 32 768 токенов с YaRN; исходная длина контекста составляла 4 096 токенов. Модель предназначена для генерации текста по инструкциям в формате Alpaca. Её можно применять для диалога и создания текстовых ответов, настраивая системный промпт под конкретную задачу. Автор характеризует результаты собственных проверок как сильные, но предупреждает, что качество может различаться. В README отмечен экспериментальный характер сборки. Указана лицензия other в метаданных; README сообщает, что из-за включения Orca-2-13b применяются условия Microsoft Research License.

PLaMo-13B-Instruct-NC — языковая модель Preferred Networks, дообученная следовать инструкциям на основе PLaMo-13B с контекстом 8192 токена. Это плотная авторегрессионная модель с архитектурой decoder-only и примерно 14,7 млрд параметров по метаданным. Для настройки использованы общедоступные наборы данных, в том числе японские переводы Stanford Alpaca, Dolly и части Anthropic HH-RLHF, а также OpenAssistant и материалы японских новостных текстов. Модель предназначена для диалогов и выполнения инструкций на японском и английском языках: она может отвечать на вопросы, помогать с написанием и преобразованием текста. Выпускается в формате safetensors для Transformers. Лицензия CC-BY-NC-4.0 разрешает использование на условиях Creative Commons Attribution-NonCommercial 4.0, включая обязательное указание авторства и некоммерческое применение. Ответы могут быть неточными, предвзятыми или нежелательными. Проверки проводились на английском и японском языках и не охватывают все сценарии; перед внедрением модель следует проверить и настроить для конкретного применения.

PP-DocLayout-L — модель PaddlePaddle для обнаружения и локализации областей на изображениях документов. Она основана на архитектуре RT-DETR-L и обучена на собственной выборке китайских и англоязычных статей, журналов, контрактов, книг, экзаменационных материалов и исследовательских отчётов. Модель выделяет 23 типа областей, включая заголовки, основной текст, номера страниц, аннотации, содержание, ссылки, сноски, колонтитулы, формулы, таблицы, изображения, подписи, печати и элементы алгоритмов. Она предназначена для анализа структуры документа и может использоваться как модуль конвейера PP-StructureV3 вместе с OCR и распознаванием таблиц, печатей и формул. В описанной авторами оценке на 500 изображениях документов модель получила mAP@0.5 90,4%. Лицензия — Apache-2.0. Результат оценки получен на внутреннем наборе PaddlePaddle; качество на других типах документов может отличаться. Метаданные обозначают задачу как image-to-text, однако README описывает локализацию областей макета, а не извлечение текста.

Qwark-4B — языковая модель на архитектуре Qwen2, опубликованная пользователем qingy2024 и основанная на дообучении Qwen/Qwen2.5-3B. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс модели также поддерживает вызов инструментов. Модель содержит 4,5 млрд параметров и рассчитана на контекст до 32 768 токенов. В метаданных перечислена поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Модель размещена в формате safetensors и использует библиотеку Transformers. README не приводит сведений о специальных целевых областях или результатах оценки качества. Условия лицензии в предоставленных данных не указаны.

Kataguru Jackripper v1.0 Uncensored — финская доработка Qwen3.5-35B-A3B, выпущенная Kataguru в формате GGUF. Это разреженная MoE-модель с 35 млрд параметров и примерно 3 млрд активных параметров на токен; в карточке заявлены чат, рассуждения и усиленная работа на финском языке. Предназначена для локального диалога и генерации текста на финском и английском, в том числе для ответов на вопросы, задач на рассуждение и написания кода. README заявляет изменение направлений отказа и приводит три квантизованных варианта GGUF объёмом 12,05–15,33 GiB с рекомендациями по видеопамяти 12–24 ГБ. В примере запуска указан контекст 32 768 токенов, но это параметр команды, а не подтверждённый предел модели. Заявления о безошибочном финском и результатах бенчмарков приведены автором карточки и не подтверждены независимыми данными. Модель основана на мультимодальной Qwen3.5, однако описание этого релиза и доступные задачи указывают на текстовую генерацию и чат. Лицензия — Apache-2.0.

saga404/Qwen3.8-9B-heretic-uncensored-Q5_0-GGUF — это преобразованная в формат GGUF версия модели rohit267/Qwen3.8-9B-heretic-uncensored. Конвертация выполнена с использованием llama.cpp и сервиса GGUF-my-repo; исходная карточка указывает на семейство Qwen и размер около 9 млрд параметров. Модель предназначена для генерации текста на английском языке и может использоваться в сценариях рассуждений, дообучения с учителем и function calling, согласно заявленным тегам. Формат GGUF ориентирован на локальный запуск через llama.cpp, включая работу из командной строки и предоставление серверного API. В README приведён пример использования с контекстом 2048 токенов, однако максимальный размер контекста модели не указан. Ключевая особенность — квантование Q5_0, позволяющее снизить требования к памяти по сравнению с полноразмерными весами, при возможном компромиссе между качеством и эффективностью. Модель заявлена как uncensored/decensored, поэтому её поведение в отношении ограничений безопасности может отличаться от стандартных версий; результаты оценки качества и безопасности не приведены. Данные о точной архитектуре, поддерживаемых модальностях помимо текста, производительности и рекомендуемых ресурсах отсутствуют. Лицензия — Apache-2.0. Для запуска требуется совместимое ПО llama.cpp; конкретные требования к аппаратному обеспечению в карточке не указаны.

StationPC/Qwen3-8B-RKNN3-RK1828 — текстовая генеративная модель, опубликованная пользователем StationPC на Hugging Face. Это адаптация Qwen3-8B, разработанной командой Qwen компании Alibaba, в формате GGUF с архитектурой qwen3. Модель предназначена для генерации текста и диалоговых сценариев; заявленная карточка относит её к задачам text-generation и conversational. Исходная Qwen3-8B — каузальная языковая модель примерно на 8,2 млрд параметров с 36 слоями и grouped-query attention: 32 attention heads для запросов и 8 для ключей и значений. Для исходной модели указана нативная длина контекста 32 768 токенов и поддержка более 100 языков и диалектов, а также режимов рассуждения и обычного диалога, задач программирования, математики, следования инструкциям и работы с инструментами. Для конкретной RKNN3-версии не подтверждены собственные языковые характеристики, контекст, точный размер, метод квантования и результаты тестирования. Главное назначение версии StationPC — локальный запуск совместимой текстовой модели в формате GGUF через поддерживаемые инструменты инференса. Ограничения включают отсутствие опубликованной содержательной model card, неподтверждённые характеристики преобразования и неизвестное влияние формата и квантования на качество и производительность; мультимодальность не заявлена. Для репозитория указана лицензия Apache 2.0.

Qwen3.8-Flash-Next-MXFP4-Mixed-CT-AutoRound — квантованный чекпойнт модели Qwen3.8-Flash-Next, подготовленный Intel с помощью AutoRound. Базовая модель имеет гибридную разреженную MoE-архитектуру на 125 млрд параметров с 6 млрд активных параметров, визуальной башней и нативным контекстом 262 тыс. токенов. В чекпойнте веса маршрутизируемых экспертов квантованы в MXFP4 W4A4, а остальные выбранные линейные слои — в MXFP8 W8A8; таблица n-грамм, визуальная башня и ряд других компонентов сохранены в BF16 или FP32. Модель предназначена для диалога и задач понимания изображений, а также может использовать интерфейс вызова инструментов. На четырёх проверенных бенчмарках средний результат составил 0,8326 против 0,8362 у исходной BF16-модели. Для обслуживания README приводит конфигурацию vLLM с одной GPU и ограничением длины контекста до 8192 токенов. Лицензия — MIT. Оценка мультимодального пути не проводилась: тестирование выполнялось в режиме только языковой модели. Проверены лишь четыре академических бенчмарка; нет данных о длинном контексте, агентных задачах, коде, режиме рассуждений и пропускной способности. Таблица n-грамм на 51 млрд параметров осталась в BF16 и ограничивает выигрыш в размере файлов.

TheTsar1209 разработал qwen-carpmuscle-v0.4 — чат-модель на архитектуре Qwen2, дообученная методом SFT на базе unsloth/Qwen2.5-14B-Instruct-bnb-4bit. Модель содержит 14 млрд параметров, использует формат ChatML и рассчитана на генерацию текста и диалоговое взаимодействие. В обучении применялись наборы данных для предварительного обучения, инструкций и чатов; данные были переформатированы, а часть некачественных ответов и отказов удалена. Модель подходит для диалогов и выполнения текстовых инструкций на английском языке. В README указан контекст обучения 8k, а метаданные каталога приводят native context 32768 токенов. Репозиторий содержит веса safetensors. Модель распространяется по лицензии Apache-2.0.

Qwen_Qwen3-VL-8B-Thinking-GGUF — это набор GGUF-квантизаций мультимодальной модели Qwen3-VL-8B-Thinking, разработанной Qwen и подготовленной пользователем bartowski. Модель предназначена для задач image-text-to-text, то есть обработки изображений и текста с генерацией текстовых ответов. Указана архитектура с 8B параметров, однако точные сведения о языках, размере контекста и поддерживаемых модальностях в README не приведены. Модель доступна в вариантах от исходных весов BF16 размером 16,39 ГБ до сильно сжатых форматов Q2 и Q3 размером около 3,8–5 ГБ, а также Q4, Q5, Q6 и Q8. Квантизация выполнена с использованием llama.cpp и метода imatrix. Версии Q5–Q6 позиционируются как высококачественные, Q4 — как оптимальный компромисс для большинства сценариев, а Q2–Q3 — как варианты для систем с ограниченным объёмом оперативной памяти, но с заметным снижением качества. Для запуска рекомендуются LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README приведён формат prompt с системным сообщением, пользовательским запросом и секцией рассуждений assistant. Сильными сторонами являются мультимодальность, широкий выбор уровней квантизации и возможность локального запуска; ограничения связаны с потерями качества в низкобитных вариантах и отсутствием в предоставленных данных информации о лицензии, языках и контекстном окне.