II.10Разработка и эксплуатация AI/ML-систем

LLaMa-3-Instruct-Zeroed-13B — разговорная языковая модель на архитектуре Llama, собранная с помощью mergekit из слоёв Undi95/Meta-Llama-3-8B-Instruct-hf. В конфигурации passthrough merge для части слоёв обнулены параметры проекций o_proj и down_proj; репозиторий содержит веса Safetensors. Модель рассчитана на генерацию текста и диалоговое взаимодействие; карточка указывает 12,5 млрд параметров и контекст до 8192 токенов. Базовая модель — англоязычная инструкционная Llama 3 на 8 млрд параметров. Из-за изменённых проекций поведение и качество могут отличаться от исходной модели; опубликованные сведения не описывают оценку качества или дополнительные ограничения. Лицензия в доступных данных не указана.

Это дообученная модель KKHYA на базе KKHYA/llavaqwen3-1.7b-finetune с 1,7 млрд параметров. Она использует архитектуру ColMaskMoELLaVAQwen3ForCausalLM и предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс для вызова инструментов. Длина контекста — до 40 960 токенов. Модель загружается в форматах PyTorch и Safetensors через Transformers. Модель опубликована 23 августа 2026 года под лицензией Apache-2.0. Датасет и результаты оценки не описаны, поэтому качество, специализацию и ограничения сверх указанных характеристик установить нельзя.

Undi95/Lumimaid-Magnum-12B — объединённая диалоговая модель, созданная автором репозитория на основе Lumimaid и Magnum с помощью метода DELLA в mergekit. В состав смеси также включено дообучение Nemo только на входных данных Claude; шаблон общения — Mistral с маркерами [INST] и [/INST]. Модель имеет плотную архитектуру MistralForCausalLM, содержит 12,1 млрд параметров и предназначена для генерации текста в диалоге. В метаданных указан контекст до 1 024 000 токенов, однако README сообщает, что добавленное дообучение проводилось на контексте 16 тыс. токенов, поэтому фактическое качество на длинном контексте из этих данных не следует. Репозиторий использует формат safetensors и библиотеку Transformers. Сведения о лицензии и конкретных ограничениях применения в предоставленных данных отсутствуют.

Luth-2-2B — текстовая языковая модель на 1,88 млрд параметров от Kurakurai, дообученная на основе Qwen/Qwen3.5-2B. Она предназначена для генерации ответов на французском языке: решения математических задач, написания кода, ответов на вопросы, следования инструкциям и вызова инструментов. Модель прошла supervised fine-tuning на французской смеси объёмом 3 млрд токенов и последующую многодоменную дистилляцию на основе собственных ответов модели. Архитектура унаследована от мультимодальной Qwen3.5-2B, но Luth-2-2B обучалась только на текстовых данных и не рекомендуется для задач с изображениями. Компактный размер позволяет использовать модель локально и на устройствах с ограниченными ресурсами. Разработчик сообщает о высоких результатах на выбранных французских бенчмарках по математике, коду, следованию инструкциям, общим знаниям и вызову инструментов; эти оценки относятся к конкретным наборам и настройкам из карточки. Модель доступна в формате safetensors и поддерживается Transformers, vLLM и SGLang. Лицензия — Apache-2.0.

MeliodasPercival_01_Inex12Yam — объединённая модель семейства Mistral, созданная из automerger/MeliodasPercival_01-7B и automerger/Inex12Yam-7B. Она предназначена для генерации текста и диалогов, а архитектура MistralForCausalLM содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка подтверждает слияние моделей и задачу генерации текста, но не описывает специализацию, поддерживаемые языки или ограничения качества.

Это диалоговая языковая модель на архитектуре Llama, полученная методом TIES слиянием модели Hjgugugjhuhjggg/mergekit-ties-bkbuzsr и huihui-ai/Llama-3.2-3B-Instruct-abliterated. Она предназначена для генерации текста и ответов в чате; метаданные также отмечают интерфейс для вызова инструментов. Модель содержит 3,2 млрд параметров, принимает текст и выдаёт текст. Указанный нативный контекст составляет 131 072 токена. Модель опубликована в формате safetensors и рассчитана на использование через Transformers. Базовая модель Llama-3.2-3B-Instruct-abliterated описана в каталоге как диалоговая модель с ослабленными отказами. README указывает слияние в формате float16 с помощью mergekit и метода TIES. Лицензия в предоставленных данных не указана.

Ministral-3-8B-Instruct-2512-GGUF — это GGUF-квантизованная версия инструкционной модели Ministral-3-8B-Instruct-2512, разработанной Mistral AI и преобразованной пользователем bartowski с помощью llama.cpp и imatrix-калибровки. Модель предназначена для локального запуска в приложениях на базе llama.cpp, включая LM Studio, и относится к мультимодальному классу image-text-to-text, то есть рассчитана на обработку изображений и текста с генерацией текстовых ответов. Модель имеет 8 миллиардов параметров и доступна в вариантах от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 4,57 до 16,99 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к оперативной памяти. В README заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Сведения о длине контекста, внутренней архитектуре и точном формате промптов отсутствуют. Сильная сторона модели — возможность локального мультимодального использования при выборе подходящего уровня квантизации; варианты Q5 и Q6 заявлены как высококачественные, а Q4 — как оптимальные по размеру для большинства сценариев. К ограничениям относятся потенциальная потеря качества в более сильных вариантах квантизации, необходимость совместимого ПО и отсутствие в README подробных данных о производительности и контексте. Модель распространяется по лицензии Apache-2.0.

Mistrality-7B — языковая модель для генерации текста и диалогов, созданная flemmingmiguel путём слияния моделей argilla/distilabeled-Hermes-2.5-Mistral-7B и EmbeddedLLM/Mistral-7B-Merge-14-v0.4 методом SLERP с помощью LazyMergekit. Модель основана на архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель подходит для диалоговых ассистентов, генерации ответов и продолжения текста. В карточке не приведены сведения о целевых языках, специальных областях применения или результаты сравнительных оценок, поэтому качество в конкретных сценариях не установлено. Лицензия — Apache-2.0.

Mistral-Nemo-Prism-12B-GGUF — это набор квантизированных версий текстовой генеративной модели Mistral-Nemo-Prism-12B, опубликованный пользователем bartowski. Базовая модель разработана nbeerbower и дополнительно обучалась с использованием наборов данных Arkhaios-DPO и Purpura-DPO. Файлы представлены в формате GGUF для запуска через llama.cpp и совместимых приложений, включая LM Studio. Модель предназначена для генерации текста и диалоговых сценариев; в README указан шаблон промпта с ролями system, user и assistant. Доступны варианты от полного F16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Размер базовой модели составляет 12B параметров, однако сведения о поддерживаемых языках, длине контекста и мультимодальности не приведены. Сильной стороной является широкий выбор квантизаций: варианты Q6 и Q5 заявлены как близкие к исходному качеству, а Q4 — как подходящие для большинства сценариев. Некоторые варианты оптимизированы для ARM, но требуют соответствующей аппаратной поддержки и не рекомендуются для Mac или Windows. К ограничениям относятся снижение качества у компактных вариантов и отсутствие подробных данных о качестве, языках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

MonadGPT 7B GGUF — квантизированная версия языковой модели MonadGPT 7B, разработанной Pierre-Carl Langlais и преобразованной в формат GGUF пользователем TheBloke. Модель основана на архитектуре Mistral и предназначена для диалогового взаимодействия и генерации текста. Модель ориентирована на работу с английским, французским и латинским языками. Доступны варианты квантизации от 2 до 8 бит для запуска на CPU и GPU, что позволяет выбирать компромисс между требованиями к памяти и качеством вывода. Файлы совместимы с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая LM Studio, KoboldCpp и llama-cpp-python. Для общения используется шаблон ChatML. Сведения о длине контекста, точном числе параметров архитектуры и мультимодальных возможностях не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся локальный запуск на различном оборудовании, широкий выбор уровней квантизации и поддержка нескольких языков. К ограничениям относятся возможная потеря качества в квантизированных версиях и отсутствие подробных данных о результатах тестирования, производительности и сценариях применения. Модель распространяется по лицензии Apache-2.0.

Monarch-7B-slerp — объединённая модель для генерации текста на основе архитектуры Mistral, созданная mlabonne с помощью LazyMergekit. Она объединяет mlabonne/OmniTruthyBeagle-7B-v0 и mlabonne/NeuBeagle-7B методом SLERP; размер модели — 7,1 млрд параметров, формат файлов — safetensors. Модель предназначена для генерации и продолжения текста, включая диалоговые ответы. Она поддерживает контекст до 32 768 токенов. В README не описаны специальные предметные области или языки; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

afrideva/mpt-3b-8k-instruct-GGUF — набор квантизированных GGUF-файлов модели mpt-3b-8k-instruct, разработанной niallturbitt и опубликованной в форматах для локального запуска. Квантизацию выполнил afrideva. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется компактная языковая модель, пригодная для работы на ограниченных ресурсах. Модель имеет размер 3 миллиарда параметров, поддерживает контекст до 8 тысяч токенов согласно идентификатору базовой модели и относится к текстовым моделям без заявленной поддержки дополнительных модальностей. Доступны варианты квантизации q2_k, q3_k_m, q4_k_m, q5_k_m, q6_k и q8_0 размером от 1,54 до 3,86 ГБ. Более компактные варианты требуют меньше памяти, но могут сильнее терять в качестве относительно менее агрессивной квантизации. Карточка не содержит сведений о поддерживаемых языках, точной архитектуре, результатах тестирования, рекомендуемом программном обеспечении для запуска или лицензии. Поэтому языковые возможности, производительность и условия распространения следует уточнять в карточке исходной модели и сопроводительных материалах.

zelk12/MT4-Gen2-gemma-2-9B — объединённая разговорная языковая модель семейства Gemma 2, опубликованная в формате safetensors для использования с Transformers. Это плотная авторегрессионная модель на 9 млрд параметров; она создана слиянием SLERP двух предварительно обученных моделей: zelk12/MT4-Gen2-IMM-gemma-2-9B и zelk12/MT4-Gen2-GBMAMU-gemma-2-9B. В конфигурации слияния указаны bfloat16 и параметр t=0.25. Модель предназначена для генерации текста и диалоговых сценариев: она может отвечать на запросы и продолжать текст. Контекстное окно составляет 8192 токена. Карточка приводит результаты оценки на Open LLM Leaderboard, в том числе IFEval и BBH, но не описывает целевые области применения или языковую специализацию. Лицензия в предоставленных данных не указана.

Learner-sai/muril-ner-multilingual-v2 — модель для классификации токенов, дообученная на базе google/muril-base-cased. Архитектура — BERT с 264,8 млн параметров; модель принимает текст и выдаёт метки для его токенов. Контекст ограничен 512 токенами. По названию репозитория модель предназначена для распознавания именованных сущностей в многоязычном тексте. В README указаны результаты на оценочном наборе: F1 0,7682, точность 0,7501 и полнота 0,7872; набор данных обозначен как None, поэтому языковой охват и состав сущностей определить нельзя. Лицензия — Apache-2.0.

RadixArk/Muse-Glimmer-q4-MLX — это квантованный MLX-чекпойнт модели Muse Glimmer, преобразованный из BF16-экспорта поставщика. Модель предназначена для запуска на компьютерах Apple Silicon через MLX-бэкенд SGLang и ориентирована на генерацию текста. Визуальный модуль отсутствует, поэтому модель поддерживает только текстовые сценарии. Модель имеет плотную архитектуру размером 28B параметров и 52 слоя: 13 слоёв с полным вниманием без позиционных смещений и 39 слоёв со скользящим окном внимания размером 2048 токенов. Максимальный контекст составляет 131 072 токена. Используется 4-битное аффинное квантование MLX с размером группы 64; веса распределены по трём safetensors-фрагментам общим объёмом около 15 ГБ. В README не указаны языки, на которых модель обучалась. Вариант позиционируется как самый компактный и быстрый среди MLX-вариантов Muse Glimmer. На M5 Pro с 64 ГБ объединённой памяти он показал 0,975 на GSM8K и скорость декодирования до 56,9 токена в секунду при пакетном размере 8. Ограничениями являются поддержка только Apple Silicon, необходимость примерно 48 ГБ объединённой памяти или более, а также ненулевая доля нарушений в тесте CIMemories: 11,28%. По сравнению с калиброванными вариантами этот чекпойнт обеспечивает более высокое покрытие, но менее строгий профиль конфиденциальности. Лицензия в README не указана.

DazzlingXeno/Mystery-Magnum — языковая модель, созданная объединением предварительно обученных моделей методом Model Stock с помощью mergekit. Базой служит 01-ai/Yi-1.5-34B-32K; в объединение также вошли anthracite-org/magnum-v3-34b и TheSkullery/Y1.5-MS-Mysteria-34b. Модель с плотной архитектурой семейства Llama содержит 33,9 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста. Веса доступны в формате safetensors; для запуска указана библиотека Transformers. Карточка не описывает конкретные сильные стороны или ограничения модели. Условия лицензии в предоставленных данных не приведены.

Nebula — компактная языковая модель семейства Llama от OrionLLM с 320,9 млн параметров, предназначенная для рассуждений и запуска на периферийных устройствах. По карточке, модель обучена на более чем 200 млрд токенов и ориентирована на баланс памяти, общих рассуждений, математики и поведения, удобного для поиска информации. Она принимает текст и генерирует текст; метаданные указывают поддержку диалогового режима и контекст до 4096 токенов. Модель подходит для компактных чат-ассистентов, ответов на вопросы, математических задач и сценариев с поиском и уточнением информации. В README описан краткий стиль рассуждений с маркерами логических переходов, неопределённости и проверки утверждений. Карточка приводит результат 40,0 на MMLU, однако независимые условия сравнения не раскрыты. Модель доступна под лицензией Apache-2.0.

YeonwooSung выпустил Neos-Phi-3-14B-v0.1 — дообученную методом ORPO диалоговую языковую модель на базе microsoft/Phi-3-medium-4k-instruct. Модель с плотной архитектурой Phi-3 содержит 13,8 млрд параметров и предназначена для генерации текста в диалоговом формате; в карточке также приведены результаты оценок IFEval и BBH. Модель принимает текст и генерирует текст, поддерживает контекст до 4096 токенов. Для дообучения использован набор mlabonne/orpo-dpo-mix-40k. Репозиторий содержит веса Safetensors; лицензия — Apache 2.0.

Nue ASR — модель для сквозного распознавания японской речи, первоначально выпущенная компанией rinna Co., Ltd.; этот репозиторий является её зеркалом. Архитектура объединяет аудиоэнкодер HuBERT, мостовую сеть и декодер GPT-NeoX. Веса энкодера и декодера инициализированы из japanese-hubert-base и japanese-gpt-neox-3.6b соответственно. Модель обучали примерно на 19 000 часах японской речи из ReazonSpeech v1; из обучения исключали аудиозаписи длиннее 16 секунд. Она предназначена для транскрибирования японской речи и, по данным карточки, может распознавать речь быстрее реального времени при использовании GPU. Для работы с аудио поддерживаются файлы, массивы NumPy и тензоры PyTorch; входные файлы автоматически приводятся к частоте 16 кГц. Лицензия — Apache 2.0.

Это инструкция-направленная версия OLMo 3 3B SiameseNorm + DepthAttention, экспортированная в Hugging Face из чекпойнта Stage 4 после 3252-й итерации. Модель разработана как экспериментальный вариант архитектуры OLMo 3 с обученными компонентами SiameseNorm и DepthAttention; это плотная причинная языковая модель примерно на 3,2 млрд параметров, предназначенная для генерации текста и диалогов. Метаданные также отмечают интерфейс вызова инструментов. Модель загружается через Transformers с пользовательским кодом репозитория. Внимание чередует три слоя с локальным скользящим окном и один слой полного внимания; окно SWA составляет 4096 токенов, а заявленная ёмкость контекста — 65536 токенов. При обучении использовалась последовательность длиной 32768 токенов. Карточка не приводит сведения о поддерживаемых естественных языках. Для загрузки требуются Transformers версии от 4.57.6 до 5, а также `trust_remote_code=True`; указана лицензия Apache 2.0.

Карточка модели localized-ft/OLMo-3-7B-good-vs-bad-mixed-multifact-kld-seed2 на Hugging Face совпадает с карточкой localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3, поэтому описание составлено по ней. Модель localized-ft/OLMo-3-7B-school-of-reward-hacks-kld-seed3 — дообученная разработчиком localized-ft языковая модель для генерации текста и диалоговых сценариев. Она основана на unsloth/Olmo-3-7B-Instruct и использует плотную архитектуру Olmo3ForCausalLM с 6,9 млрд параметров. Карточка сообщает, что модель обучалась с помощью Unsloth и библиотеки TRL; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст; заявленная длина контекста — 65 536 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Описание не уточняет специальные ограничения или сценарии дообучения, поэтому её следует рассматривать как общую модель генерации текста и диалогов.

OutcomesAI-Whisper-tiny-v1.1 — дообученная модель семейства Whisper, разработанная на основе piyushmaharana/outcomes-whisper-tiny-v1 и датасета big-transcript-pronounce. Она предназначена для автоматического распознавания речи и преобразования английской речи в текст. Модель содержит 29,4 млн параметров; веса представлены в формате Safetensors. В README приведены результаты оценки: loss 0,0602 и WER 2,82, однако описание методики оценки и ограничений отсутствует. Модель распространяется по лицензии Apache-2.0.

Карточка модели Josephgflowers/Phi-3-mini-4k-instruct-Cinder-llamafied-with-16bit-GGUF на Hugging Face совпадает с карточкой Josephgflowers/Phi-3-mini-4k-instruct-Cinder-with-16bit-GGUF, поэтому описание составлено по ней. Josephgflowers/Phi-3-mini-4k-instruct-Cinder-with-16bit-GGUF — англоязычный чат-бот Cinder на основе Phi-3 Mini, доработанный для научных и образовательных бесед, общения и творческого исследования. В карточке указано, что дообучение включает данные о персонаже Cinder, вопросы и ответы по знаниям о мире и STEM, а также сокращённый набор данных Samantha, отредактированный для Cinder. Метаданные описывают плотную архитектуру Phi-3 с 3,7 млрд параметров и контекстом 4096 токенов; репозиторий содержит GGUF в формате F16 и safetensors, а модель поддерживает генерацию текста и код. Модель предназначена для диалогов и следования инструкциям, а компактный размер подходит для сценариев с ограничениями по памяти и задержке. В README также отмечены STEM-темы, математика, логика и программирование. Лицензия — MIT. Основное заявленное применение — английский язык. Качество на других языках может быть ниже; ответы могут содержать ошибки, выдуманные сведения, предвзятость или оскорбительный контент. Код и ответы в чувствительных областях требуют проверки; для высокорисковых сценариев нужны дополнительные меры оценки и защиты.

Prima-LelantaclesV6-7b — объединённая модель семейства Mistral с 7,1 млрд параметров, опубликованная ChaoticNeutrals. Она создана методом DARE TIES на основе Test157t/Lelantacles6-Experiment26-7B и Test157t/West-Pasta-Lake-7b и предназначена для генерации текста на основе текстового запроса. Веса доступны в формате Safetensors; заявленная длина контекста составляет 32 768 токенов. Модель подходит для диалогов, написания и продолжения текста, а также задач на рассуждение в сценариях, где требуется генеративная языковая модель. В README приведены результаты Open LLM Leaderboard, включая средний балл 73,41, но подробные результаты представлены не полностью. Указана лицензия other, поэтому условия использования следует сверять с лицензиями исходных моделей и репозитория; конкретные ограничения качества и поддерживаемые языки в доступных данных не описаны.

QandoraExp-7B-Persona — объединённая плотная языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом passthrough из bunnycore/QandoraExp-7B и bunnycore/Qwen-2.1-7b-Persona-lora_model. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и поддерживает контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста и сценариев с вызовом инструментов. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH; эти оценки дают ориентир по отдельным тестам, но не гарантируют качество в конкретном приложении. Языки и специализированные предметные области в доступных данных не обозначены. Лицензия в предоставленных сведениях не указана.

Kiffaz11/Qwen3-0.6b-ifrlvr-grpo — дообученная методом GRPO модель Qwen3-0.6B, созданная для следования инструкциям и решения задач с проверяемыми ответами. Она предназначена для генерации текста и диалогов; в README описаны результаты на тестах соблюдения программно проверяемых ограничений IFEvalG и IFEval, а также на GSM8K. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит около 507,9 млн параметров и поддерживает контекст до 40 960 токенов. По данным README, обучение проводилось в TRL в течение 1200 шагов на смеси задач с ограничениями и GSM8K. В тестах авторов модель улучшила следование инструкциям в режимах с рассуждением и без него; прирост на GSM8K показан в режиме без рассуждений, тогда как в режиме с рассуждениями результаты по математике и MMLU номинально ниже базовой модели, без статистически значимого ухудшения. Это компактная текстовая модель общего назначения, разработанная на основе Qwen/Qwen3-0.6B. Лицензия — Apache-2.0.

Карточка модели localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-kld-20260920-seed1 на Hugging Face совпадает с карточкой localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1, поэтому описание составлено по ней. Модель localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1 разработана localized-ft как дообученная версия Qwen/Qwen3-32B. Это плотная причинная языковая модель семейства Qwen3 с 29,7 млрд параметров, предназначенная для диалога и генерации текста; каталог также отмечает интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL. Модель принимает текст и выдаёт текст. Её контекстное окно составляет 40 960 токенов; в метаданных указан английский язык. Карточка не раскрывает состав обучающих данных и конкретную специализацию, поэтому название репозитория само по себе не позволяет надёжно установить назначение оценки «хорошего» и «плохого» или многозадачного обучения. Лицензия — Apache-2.0.

Карточка модели localized-ft/Qwen3-32B-school-of-reward-hacks-ip-20260920-seed1 на Hugging Face совпадает с карточкой localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1, поэтому описание составлено по ней. Модель localized-ft/Qwen3-32B-good-vs-bad-mixed-multifact-ip-20260920-seed1 разработана localized-ft как дообученная версия Qwen/Qwen3-32B. Это плотная причинная языковая модель семейства Qwen3 с 29,7 млрд параметров, предназначенная для диалога и генерации текста; каталог также отмечает интерфейс вызова инструментов. Модель обучали с использованием Unsloth и библиотеки TRL. Модель принимает текст и выдаёт текст. Её контекстное окно составляет 40 960 токенов; в метаданных указан английский язык. Карточка не раскрывает состав обучающих данных и конкретную специализацию, поэтому название репозитория само по себе не позволяет надёжно установить назначение оценки «хорошего» и «плохого» или многозадачного обучения. Лицензия — Apache-2.0.

TheDrainFlorist/Qwen3.8-27B-VQ-4.8bpw — это векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B для Apple Silicon. Модель предназначена для генерации текста и обработки изображений в экосистеме MLX; она включает vision tower и распространяется в формате, совместимом с mlx-lm и mlx-vlm. Модель содержит около 27 млрд параметров, использует векторное квантование с эффективностью 4,8 бита на параметр и занимает примерно 15,45 GiB. В карточке указаны английский язык и текстовая генерация, однако размер контекстного окна не приведён. По сравнению с 4-битной affine-квантизацией эта сборка ближе к исходной bf16-модели: согласие по наиболее вероятному токену составляет 90,8%, а измеренное расхождение KL — 32,8 millinats на токен. При этом точность ниже, чем у вариантов q6, q8 и bf16. Для работы требуется версия mlx-lm с поддержкой параметра model_file; для изображений нужен mlx-vlm версии 0.6.16 или новее. Сборка рассчитана прежде всего на локальный запуск на устройствах Apple Silicon и поддерживает exo. Ограничениями являются зависимость от совместимого загрузчика и неизбежная потеря качества из-за квантования. Модель распространяется по лицензии Apache-2.0.

wareef/Qwen3-VL-8B-Instruct-Q4_K_M-GGUF — это квантизированная версия мультимодальной модели Qwen3-VL-8B-Instruct, преобразованная в формат GGUF для запуска с llama.cpp. Модель подготовлена пользователем или организацией wareef на основе исходной модели Qwen/Qwen3-VL-8B-Instruct с использованием инструмента GGUF-my-repo от ggml.ai. Модель предназначена для задач преобразования изображений и текста в текст, включая мультимодальное понимание и генерацию ответов по входным данным. Она рассчитана на локальный запуск через llama.cpp в командной строке или в режиме сервера. В README указаны архитектурная основа Qwen3-VL, размер 8B и квантизация Q4_K_M; сведения о поддерживаемых языках, точном размере контекста, конкретных модальностях и возможностях исходной модели не приведены. К сильным сторонам относятся компактный квантизированный формат GGUF и совместимость с llama.cpp, что упрощает локальное развертывание на поддерживаемом оборудовании. Ограничения связаны с потерей точности из-за квантизации, а также с зависимостью от аппаратных возможностей и настроек llama.cpp. Модель распространяется по лицензии Apache-2.0.