II.2Создание и понимание программного кода

Qwen2.5-QwQ-37B-Eureka-Triple-Cubed-abliterated — текстовая генеративная модель DavidAU, созданная методом Triple Cubed на основе нескольких моделей рассуждения семейства Qwen. По данным карточки, в её состав вошли QwQ-32B, TinyR1-32B-Preview и DeepSeek-R1-Distill-Qwen-32B; каталог указывает связи с тремя моделями huihui-ai. Архитектура — плотная Qwen2, класс Qwen2ForCausalLM, размер — 35,9 млрд параметров, формат весов — safetensors, контекст — до 131 072 токенов. Модель предназначена для диалоговой генерации текста, пошагового рассуждения, планирования, решения задач, подробных объяснений, творческого письма и мозговых штурмов. Автор отмечает, что версия Triple Cubed рассчитана на более глубокое рассуждение и детальную генерацию, а также допускает широкий диапазон температуры. В метаданных указаны интерфейс чата и интерфейс вызова инструментов. Модель обозначена как abliterated и uncensored, поэтому может выдавать контент без обычных отказов. README рекомендует использовать шаблон ChatML; настройки генерации, включая температуру, могут заметно влиять на результат. Карточка не сообщает конкретные языки обучения или гарантии качества. Условия лицензии в предоставленных данных не указаны.

DavidAU/Qwen3-30B-A6B-16-Extreme — дообученная версия многоэкспертной языковой модели Qwen3, в которой для обработки каждого запроса активируются 16 экспертов вместо стандартных 8. По описанию автора, модель использует около 6 млрд активных параметров из 30 млрд и рассчитана на более сложные запросы, где могут быть полезны дополнительные нюансы и глубина ответа. Модель предназначена для генерации текста и диалогов, включая сценарии с интерфейсом вызова инструментов. Она принимает текстовые запросы и выдаёт текст; автор указывает контекст около 32 тыс. токенов плюс до 8 тыс. токенов на ответ. Репозиторий содержит полноточные веса в safetensors и может использоваться через Transformers или служить источником для создания квантованных вариантов. Увеличенное число активных экспертов снижает скорость генерации примерно вдвое относительно версии с 8 экспертами; фактическая скорость зависит от оборудования и настроек. Модель создана DavidAU на базе Qwen/Qwen3-30B-A3B-Base. В карточке указана лицензия Apache-2.0 для базовой модели; отдельные условия лицензирования этой производной в предоставленных данных не приведены.

Qwen3.8-Flash-Next-RadixArk-NVFP4-Hybrid-Sharp — мультимодальная модель для задач text-to-text и image-text-to-text, опубликованная в репозитории travelinlance на основе Qwen3.8-Flash-Next от Qwen и NVFP4-квантизированной сборки RadixArk. Модель предназначена для диалогов, генерации текста и обработки запросов с изображениями при использовании специализированного стека обслуживания. Это примерно 176-миллиардная MoE-модель с маршрутизируемыми экспертами. Основная часть весов хранится в формате NVFP4 W4A4, а около 300 тензоров в слоях внимания и общих экспертах преобразованы в блочный FP8 E4M3. Такой гибридный формат уменьшает объём данных, считываемых при генерации, и, по заявленным измерениям, повышает скорость генерации примерно на 20% без ухудшения контрольных оценок. Встроенный Sharp chat template сокращает объём ответов; в тесте он дал на 18% меньше выходных токенов. Для запуска требуется патченный образ vLLM ghcr.io/lancelind/qwen38-flash-dgx с поддержкой смешанного FP4/FP8-формата и настройками VLLM_FP8_HYBRID=1; стандартные vLLM и SGLang эту сборку загрузить не могут. Модель рассчитана прежде всего на NVIDIA DGX Spark с GB10 и 128 ГБ памяти, где используется таблица размером 44 ГиБ, доступная напрямую с диска. Точные поддерживаемые языки и размер контекстного окна в представленном README не указаны. Лицензия обозначена как qwen-community-1.0; применимые условия следует уточнять в файле LICENSE.

TiGa-RCE опубликовал BF16-конверсию модели Qwen3-Embedding-8B в формате MLX для запуска на Apple Silicon через MLX или oMLX. Модель основана на Qwen/Qwen3-Embedding-8B и предназначена для создания текстовых эмбеддингов, семантического поиска и задач извлечения признаков. В метаданных указаны 7,6 млрд параметров и контекст до 40 960 токенов; базовая модель поддерживает многоязычный поиск, в том числе поиск по коду и межъязыковой поиск. В ограниченном локальном smoke-тесте извлечения модель достигла 24/24 совпадений top-1 и MRR 1,0 на 24 парах запросов и документов. Это небольшая инженерная проверка, а не оценка на MTEB и не гарантия качества для других данных. Контрольная точка рассчитана на Apple Silicon и MLX/oMLX; результаты для CUDA и PyTorch к ней не относятся. Лицензия — Apache-2.0.

Rombos-2.5-T.E-8.1 — объединённая модель генерации текста, собранная с помощью mergekit из rombodawg/Rombos-LLM-V2.5-Qwen-7b и Cran-May/T.E-8.1. Она построена на архитектуре Qwen2 и содержит 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста; поддерживает формат ChatML и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Слияние выполнено методом SLERP с настройками весов для слоёв внимания и MLP; веса сохранены в формате safetensors. Карточка приводит результаты оценивания на IFEval и BBH. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и на условиях распространения производных работ, но запрещает коммерческое использование. Данных о поддерживаемых естественных языках и отдельных ограничениях качества карточка не приводит.

StrangeMerges_11-7B-slerp — объединённая языковая модель на архитектуре Mistral, созданная Gille с помощью LazyMergekit. Модель объединяет Gille/StrangeMerges_10-7B-slerp и mlabonne/NeuralBeagle14-7B методом SLERP; конфигурация использует слои 0–31 обеих моделей и тип данных bfloat16. Модель предназначена для генерации текста, включая диалоговые ответы, следование инструкциям, рассуждения и творческое письмо. Она содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. В README приведены результаты отдельных тестов Open LLM Leaderboard, включая AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache-2.0. README не указывает языковой охват или дополнительные ограничения модели.

TERNARY-BONSAI-2-27B-DERISKED-GGUF — мультимодальная производная модель семейства TERNARY BONSAI, выпущенная Blackfrost AI на основе prism-ml/Ternary-Bonsai-2-27B-gguf и в конечном счёте Qwen/Qwen3.8-27B. Модель предназначена для диалоговых сценариев и работы с текстом, а при загрузке соответствующего мультимодального проектора также поддерживает входные изображения. Доступна через llama.cpp и совместимый с OpenAI API интерфейс. В релиз входят две языковые версии: высокоточная BF16 и компактная нативная тернарная PQ2_0 с групповой FP16-масштабизацией. Архитектура описана как гибридная causal language model на базе Qwen3.8, примерно на 27,36 млрд параметров и с 64 трансформерными блоками. Заявленное upstream-окно контекста составляет 262 144 токена, однако для данного релиза валидировано только 32 768 токенов; также проверена работа с одним параллельным потоком генерации. Для изображений используются отдельные проекторы BF16 или Q8_0, соответствующие языковой версии. BF16-вариант ориентирован на качество и точность, тогда как PQ2_0 существенно компактнее и демонстрирует более высокую наблюдаемую скорость декодирования в заявленной конфигурации. Обе версии прошли проверку связности оператором и HITL, а PQ2_0 указан как принятый компактный кандидат без зацикливания. При этом комплексные тесты программирования, безопасности, длинного контекста и мультимодальности ещё не опубликованы, оценка отказов находится в ожидании, а приведённые скорости не являются гарантией производительности. Процесс поведенческой модификации является проприетарным и не распространяется. Лицензия Apache-2.0 унаследована от непосредственной родительской модели.

VICIOUS_MESH-12B-NEMO — текстовая генеративная модель на 12,1 млрд параметров, созданная автором репозитория методом слияния TIES с помощью mergekit. В качестве основы использована mistralai/Mistral-Nemo-Instruct-2407, а в слияние также вошла bamec66557/VICIOUS_MESH-12B-BETA. Модель построена на архитектуре MistralForCausalLM и предназначена для диалога и генерации текста по запросу; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов. В README приведены результаты оценок Open LLM Leaderboard, включая IFEval и BBH, но они сами по себе не гарантируют качество на пользовательских задачах. Репозиторий распространяется по лицензии Apache-2.0. Языки отдельно не перечислены; языковые возможности унаследованы от базовой модели Mistral Nemo Instruct.

CatPPT-base-Mistral-7B-Instruct-v0.1 — языковая чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и rishiraj/CatPPT-base методом SLERP. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы; метаданные отмечают поддержку чата и задачи text-generation. Модель принимает текст и выдаёт текст, её контекст составляет до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. README описывает конфигурацию слияния и тип данных bfloat16. Сведения о специальных предметных областях или отдельных языках в предоставленных данных отсутствуют.

Карточка модели KnutJaegersberg/Deita-Mixtral-8x7b на Hugging Face совпадает с карточкой KnutJaegersberg/Deita-34b, поэтому описание составлено по ней. KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

EmbeddingGemma — компактная модель эмбеддингов от Google DeepMind на 302,8 млн параметров, построенная на текстовой архитектуре Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы размерности 768; размер можно сократить до 512, 256 или 128 с помощью Matryoshka Representation Learning. Модель рассчитана на контекст до 2048 токенов и обучалась на данных более чем на 100 языках. Модель предназначена для семантического поиска и извлечения информации, оценки сходства, классификации и кластеризации текстов. Её небольшой размер подходит для развёртывания на телефонах, ноутбуках и настольных компьютерах с ограниченными ресурсами. В README указано использование через Sentence Transformers и Transformers. Качество зависит от охвата и особенностей обучающих данных; модель может хуже улавливать нюансы, сарказм и переносный смысл, а смещения в данных могут отражаться в эмбеддингах. Репозиторий распространяется по лицензии Gemma; следует учитывать условия использования и политику допустимого применения Gemma.

Granite-embedding-small-english-r2 — англоязычная модель для создания плотных векторных представлений текста, разработанная командой Granite Embedding компании IBM. Модель предназначена для сравнения текстов, семантического поиска и информационного поиска, включая поиск по документам, кодовой базе, таблицам и многошаговым диалогам. Она преобразует запросы, фрагменты и документы в векторы фиксированной длины, пригодные для сопоставления, например с помощью косинусного сходства. Модель содержит 47 млн параметров и использует архитектуру bi-encoder на базе ModernBERT. Размер выходного embedding составляет 384, поддерживается контекст длиной до 8192 токенов. При обучении применялись retrieval-oriented pretraining, contrastive finetuning, knowledge distillation и объединение моделей; использовались датасеты пар релевантности с разрешительными лицензиями, а также наборы данных, собранные и сгенерированные IBM. Модель ориентирована только на английский язык и доступна для использования через Transformers.js, включая ONNX-вариант. К сильным сторонам относятся компактный размер, поддержка длинного контекста, высокая скорость кодирования и конкурентоспособное качество на бенчмарках поиска, длинных документов, кода, таблиц и многоходовых диалогов. Ограничения — английская языковая специализация, фиксированный размер представлений и назначение преимущественно для задач embeddings, similarity и retrieval, а не для генерации текста. Модель распространяется по лицензии Apache 2.0.

Hermes 2 Pro Mistral-7B Infinity-Instruct — языковая модель на 7,1 млрд параметров, разработанная дообучением NousResearch/Hermes-2-Pro-Mistral-7B на наборе BAAI/Infinity-Instruct. Это плотная авторегрессионная модель Mistral для генерации текста и диалогового общения; она загружается через Transformers и распространяется в формате safetensors. В карточке указана длина последовательности обучения 8192 токена, а метаданные сообщают нативный контекст 32768 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста по инструкциям. В README приведены результаты отдельных тестов, включая ARC и BoolQ, но они не гарантируют качество на других задачах. Модель принимает и выдаёт текст; сведения о поддерживаемых естественных языках отсутствуют. Лицензия — Apache-2.0. Ограничения включают возможные ошибки и выдуманные утверждения, характерные для генеративных языковых моделей.

nlpguy/Hermes-low-tune-2 — объединённая модель для генерации текста на основе Mistral, созданная с помощью mergekit методом task arithmetic. В качестве базовой использована teknium/OpenHermes-2.5-Mistral-7B; в объединение также вошли Math-OpenHermes-2.5-Mistral-7B, NeuralHermes-2.5-Mistral-7B-laser, dpopenhermes-alpha-v0 и NeuralHermes-2.5-Mistral-7B. Модель содержит 7,1 млрд параметров, использует архитектуру Mistral и поддерживает контекст до 32 768 токенов. Она предназначена для диалогов и генерации текста; состав объединённых моделей также указывает на применимость к математическим задачам. Карточка приводит результаты нескольких тестов Open LLM Leaderboard, включая средний балл 68,04. Модель распространяется по лицензии Apache-2.0. Данные карточки не описывают подробно её языковой охват и практические ограничения; качество может зависеть от задачи и формулировки запроса.

Llama-3.1-Niitorm-8B — объединённая диалоговая языковая модель на архитектуре Llama 3.1, созданная слиянием Sao10K/L3.1-8B-Niitama-v1.1 и akjindal53244/Llama-3.1-Storm-8B методом NEARSWAP с параметром t=0.0001. В README также указано включение варианта Niitama с LoRA для abliteration. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. Модель предназначена для диалогов и генерации текста, в том числе ответов на инструкции и вызова функций через соответствующий интерфейс. В карточке заявлена преимущественно выполненная abliteration, однако подробные оценки качества и гарантии поведения не приведены. Доступны веса в формате safetensors; README также упоминает сторонние квантизированные сборки GGUF. Лицензия в предоставленных данных не указана.

bunnycore выпустила Llama-3.1-8B-OmniMatrix — чат-модель для генерации текста, созданную слиянием нескольких моделей семейства Llama 3.1 с помощью mergekit и метода task arithmetic. В основу слияния вошли arcee-ai/Llama-3.1-SuperNova-Lite и grimjim/Llama-3-Instruct-abliteration-LoRA-8B; также объединены bunnycore/LLama-3.1-8B-HyperNova-abliteration, bunnycore/StockLLama-3.1-8B и v000000/L3.1-Storniitova-8B. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекстное окно до 131 072 токенов. Она предназначена для диалогов и генерации текста по инструкциям; карточка указывает библиотеку Transformers и формат safetensors. В метаданных нет сведений о специальной предметной области или лицензии, поэтому условия лицензирования здесь описать нельзя.

SliceX AI ELM Turbo 6B Instruct — англоязычная диалоговая языковая модель, созданная SliceX AI как срез архитектуры ELM Turbo на основе Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 5,8 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и выполнения инструкций в диалоге. Архитектура ELM Turbo позволяет выбирать срезы разного размера для компромисса между качеством, скоростью и потреблением памяти; для этой версии выбран вариант на 6B. Обучение включало дообучение на инструкционных наборах, в том числе Tulu, Orca Math и WizardLM. README также описывает оптимизацию инференса и интеграцию TensorRT-LLM. Модель подходит для диалоговых помощников, ответов на вопросы и генерации текста на английском языке. Её ответы могут содержать фактические ошибки, смещения или неподходящий контент; результаты следует проверять. Использование регулируется лицензией Llama 3.1.

Llama3.1-Flammades-70B — диалоговая языковая модель на архитектуре Llama 3.1, разработанная FlammenAI. Это дообученная версия nbeerbower/Llama3.1-Gutenberg-Doppel-70B: модель адаптировали методом ORPO на наборах flammenai/Date-DPO-NoAsterisks и jondurbin/truthy-dpo-v0.1, используя два ускорителя H100 в течение трёх эпох. Модель содержит 69,5 млрд параметров, работает с текстом и имеет контекст длиной до 131 072 токенов. Модель предназначена для диалоговой генерации текста и ответов на инструкции. В карточке приведены результаты Open LLM Leaderboard: средний балл 35,74, IFEval — 70,58, BBH — 52,55; эти показатели отражают оценки на указанных тестах, а не гарантируют качество в конкретном сценарии. Для запуска доступен формат Safetensors и библиотека Transformers. Лицензия — Llama 3.1 Community License.

MLX-квантованная версия Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на основе модели Meta. Это языковая модель для генерации текста и выполнения инструкций, подходящая для диалоговых систем, ответов на вопросы, создания и преобразования текста и других задач обработки естественного языка. Модель имеет размер 3 миллиарда параметров и представлена в 8-битном формате, что ориентировано на более эффективный запуск по сравнению с полноразмерной версией. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о размере контекста и дополнительных модальностях в README не приведены. К сильным сторонам относятся компактный размер, instruction-tuning и возможность использования в экосистеме MLX. Ограничения включают отсутствие заявленных характеристик контекстного окна и результатов бенчмарков, а также возможные ошибки, неточности и ограничения качества при работе с языками и сценариями вне заявленного набора. Модель распространяется по Llama 3.2 Community License от Meta; при использовании и распространении действуют требования лицензии, включая соблюдение Acceptable Use Policy, указание «Built with Llama» и сохранение уведомления об атрибуции.

Карточка модели KnutJaegersberg/Llama-3-Deita-8b на Hugging Face совпадает с карточкой KnutJaegersberg/Deita-34b, поэтому описание составлено по ней. KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

MeliodasPercival_01_ShadowT3q — объединённая модель на архитектуре Mistral с 7,1 млрд параметров, созданная путём слияния моделей automerger/MeliodasPercival_01-7B и automerger/ShadowT3q-7B. Она предназначена для генерации текста и диалогов, в том числе с использованием контекста длиной до 32 768 токенов. Модель принимает текст и выдаёт текст. Веса опубликованы в формате Safetensors. Репозиторий распространяется по лицензии Apache-2.0. В карточке не описаны специальные предметные области или отдельные ограничения качества.

Модель Hjgugugjhuhjggg/mergekit-passthrough-owrmdht — объединение языковой модели meta-llama/Llama-3.2-1B-Instruct, созданное методом passthrough с помощью mergekit. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия, включая сценарии с интерфейсом вызова инструментов. Модель принимает текст и генерирует текст. Указанная длина контекста — 131 072 токена. Базовая модель Meta описана как компактная многоязычная модель, настроенная на выполнение инструкций и предназначенная для диалогов, поиска сведений, суммаризации и помощи в написании текста. Модель опубликована в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Ministral-8B-Instruct-2410-4bit — 4-битная квантованная версия инструкционной языковой модели Ministral-8B-Instruct-2410-HF, разработанной Mistral AI и опубликованной сообществом mlx-community. Модель предназначена для генерации и обработки текста по инструкциям, включая диалоговые сценарии, ответы на вопросы, написание и преобразование текста, а также другие задачи, где требуется компактная локально запускаемая LLM. Модель имеет размер 8B параметров и использует 4-битное представление весов, что снижает требования к памяти по сравнению с полноразмерной версией. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Формат или параметры контекстного окна, точная архитектура, показатели качества и перечень поддерживаемых модальностей в предоставленных данных не указаны; по имеющейся информации это текстовая модель. К сильным сторонам относятся инструкционная настройка, многоязычность и уменьшенный объём памяти благодаря 4-битной квантизации. К ограничениям относятся возможная потеря качества по сравнению с исходной версией из-за квантизации, а также отсутствие в README подробных результатов тестирования и характеристик производительности. Модель распространяется по Mistral AI Research License (MRL-0.1): использование модели, производных версий и результатов ограничено исследовательскими целями, а распространение требует соблюдения условий лицензии и указания атрибуции Mistral AI.

Mixtral-8x7B-Instruct-v0.1-GGUF — квантизированная GGUF-версия инструкционной модели Mixtral-8x7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и работу через LlamaEdge. Поддерживаются английский, французский, итальянский, немецкий и испанский языки; заявленный размер контекста составляет 4096 токенов. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 17,3 до 49,6 ГБ. Более компактные варианты требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как сбалансированные или рекомендуемые, тогда как Q2_K и некоторые другие варианты имеют существенное снижение качества. Модель ориентирована на текстовые задачи и не поддерживает мультимодальные входы согласно представленным данным. Используется по лицензии Apache 2.0.

munin-neuralbeagle-7b-density-high — текстовая генеративная модель на архитектуре Mistral с 7,1 млрд параметров, созданная командой merge-crew с помощью LazyMergekit. Согласно конфигурации, веса объединены методом dare_ties: в слиянии участвуют danish-foundation-models/munin-7b-alpha и mlabonne/NeuralBeagle14-7B с настройками density 0,7 и weight 0,6; указаны int8-маска и формат bfloat16. Модель предназначена для генерации текста и может использоваться для диалогов, следования инструкциям, рассуждений и творческих текстовых задач — возможности базовой NeuralBeagle14-7B. Контекст составляет до 32 768 токенов. Карточка не указывает отдельную языковую специализацию или лицензию, поэтому их нельзя уверенно описать.

munin-neuralbeagle-7b-density-very-high — объединённая текстовая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана с помощью LazyMergekit методом dare_ties на основе munin-7b-alpha и mlabonne/NeuralBeagle14-7B; конфигурация задаёт для NeuralBeagle плотность 0,9 и вес 0,6, а итоговый тип данных — bfloat16. Модель предназначена для генерации текста, в том числе диалогов, ответов на инструкции, рассуждений и творческих текстов — эти возможности указаны в описании базовой NeuralBeagle14-7B. Контекст составляет до 32 768 токенов. В репозитории опубликованы веса в формате safetensors. Карточка не указывает лицензию. Качество и ограничения итогового слияния отдельно не описаны; возможности и поведение базовых моделей могут отличаться от поведения объединённой модели.

Это GGUF-квантизированная версия инструкционной языковой модели Llama-3.1-8B-UltraLong-4M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на запросы и работу с очень длинными контекстами; обозначение UltraLong-4M указывает на поддержку контекста до 4 миллионов токенов. В карточке указано, что модель ориентирована на английский язык и относится к текстовой модальности. Модель содержит 8 миллиардов параметров и распространяется в формате GGUF, совместимом с llama.cpp, LM Studio и другими проектами на его основе. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций с размером файлов примерно от 4,3 до 16,1 ГБ. Квантизации выполнены с использованием imatrix, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса; наиболее качественными названы BF16, Q8_0 и варианты Q6, а Q4 и Q3 подходят для систем с меньшим объёмом оперативной памяти. Основные ограничения связаны с использованием квантизированных вариантов: уменьшение размера может сопровождаться снижением качества по сравнению с исходными весами, а требования к памяти при работе с контекстом в миллионы токенов остаются высокими. Для корректной работы следует использовать рекомендованный шаблон prompt формата Llama 3.1. Лицензия модели — CC-BY-NC-4.0, допускающая использование с некоммерческими ограничениями.

Qwen3-1.7B compression L+0 final — дообученная языковая модель на архитектуре Qwen3ForCausalLM, опубликованная hi-todayis-jh. Это стандартный чекпойнт BF16 в формате Hugging Face Safetensors, экспортированный с шага обучения 100; в репозитории также находятся конфигурация, токенизатор и шаблон диалога с режимом рассуждений. Модель содержит 1,7 млрд параметров и поддерживает контекст до 40 960 токенов. Модель предназначена для генерации текста и диалогов. README указывает на наличие оценок с режимом рассуждений; метаданные также отмечают интерфейс вызова инструментов. Её можно загружать через Transformers или vLLM. Базовая модель — Qwen/Qwen3-1.7B. Сведения о лицензии и конкретных ограничениях применения в предоставленных данных отсутствуют.

Qwen3.5-9B VLM Q4_K_M GGUF — мультимодальная модель на базе Qwen/Qwen3.5-9B, представленная в формате GGUF и подготовленная пользователем jc-builds. Пакет включает квантованные веса основной модели и отдельный мультимодальный проектор mmproj, необходимый для обработки изображений через llama.cpp. Модель предназначена для анализа изображений и текста, визуального рассуждения, генерации описаний, ответов на вопросы по изображениям, а также для обычных текстовых задач. Заявлена поддержка 201 языка, включая английский, китайский, японский, корейский, русский, европейские, арабские и ряд языков Юго-Восточной Азии. Указана архитектура раннего объединения визуальных и текстовых данных, контекстное окно 262 144 токена с возможностью расширения более чем до 1 млн токенов, 9,6 млрд плотных параметров и словарь размером более 200 тысяч токенов. Основные веса используют 4-битную смешанную квантование Q4_K_M и занимают около 6 ГБ, а визуальный проектор хранится в FP16 и занимает около 918 МБ. Для полной мультимодальной инференции требуется примерно 7–8 ГБ RAM или VRAM. Сильные стороны модели — сочетание визуальных и текстовых возможностей, большой контекст, относительно компактный размер и возможность локального запуска, в том числе на устройствах iOS. Ограничения включают зависимость от поддержки mmproj в программном обеспечении: vision-режим доступен в llama.cpp и KoboldCpp, частично поддерживается в LM Studio и не поддерживается в Ollama согласно README. Квантованная версия может незначительно уступать FP16 по качеству. Лицензия — Apache-2.0.

OsaurusAI подготовила квантизированную сборку мультимодальной модели Qwen3.6-35B-A3B для запуска через MLX на устройствах Apple Silicon. Это MoE-модель с 35 млрд параметров, из которых около 3 млрд активны на каждом токене; архитектура включает 40 слоёв, сочетая Gated DeltaNet и полное внимание, а также 256 маршрутизируемых экспертов и одного общего эксперта. Модель принимает текст и изображения, поддерживает диалог и интерфейс вызова инструментов; базовая модель также поддерживает видео, но README отмечает ограничения основного пути MLX для видео. Сборка использует JANGTQ4 для весов маршрутизируемых экспертов и 8-битную аффинную квантизацию для ряда остальных компонентов; башня зрения сохранена. Для загрузки нужен собственный JANGTQ runtime и файл jangtq_runtime.safetensors, а стандартный загрузчик mlx_lm не поддерживает упакованные веса. Модель ориентирована на локальный инференс, включая диалоги, анализ изображений и агентные сценарии; для комфортного запуска README рекомендует Mac с 32 ГБ объединённой памяти. Лицензия — Apache-2.0. Заявленные в README бенчмарки относятся к исходной модели, а не к этой квантизированной сборке.