II.2Создание и понимание программного кода

ryugyosoft 提供の LFM2-8B-A1B-onw は、LiquidAI/LFM2-8B-A1B を Intel NPU 上で onw エンジンにより動かすために変換した MoE 言語モデルです。メタデータでは総パラメータ数は 1.4B、アーキテクチャは Lfm2MoeForCausalLM、コンテキスト長は 128,000 トークンとされています。README では元モデルを 8.3B パラメータ、1 トークンあたり約 1.5B активных параметров и 32 эксперта, из которых выбираются 4, описывает; различие в оценках числа параметров между источниками не объясняется. Модель предназначена для диалогов и генерации текста на локальном компьютере с Intel NPU, включая суммаризацию, редактирование кода и использование через совместимый с OpenAI API сервер. В README заявлена скорость 16–17 токенов в секунду на NPU 3720, а для ответов, переиспользующих исходный текст, — 29–43 токена в секунду с проверкой упреждающего декодирования. Модель использует INT4-квантизацию экспертных весов и INT8-встраивания и распространяется в графах OpenVINO для движка onw. Указаны японский и английский языки. Для Ubuntu требуется драйвер linux-npu-driver версии 1.38 или новее, а для запуска — отдельный движок onw версии 0.3 или новее. Качество ответов может отклоняться от исходной модели через несколько токенов. Лицензия — LFM Open License v1.0; коммерческое использование ограничено условиями лицензии исходной модели.

amd/Llama-3.1-8B-Instruct-w-int8-a-int8-sym-test — это вариант Llama 3.1 8B Instruct, опубликованный AMD. Он предназначен для генерации текста, диалоговых ассистентов и других задач обработки естественного языка; инструкционно дообученная версия оптимизирована для многоязычного общения. Вариант содержит 8 млрд параметров и использует 8-битное симметричное квантование весов и активаций; на странице модели также указаны форматы BF16 и I8. README этого репозитория пуст, поэтому характеристики квантования следует считать основными подтверждёнными сведениями именно об этом варианте, а не результатами отдельной оценки качества. Базовая Llama 3.1 разработана Meta и представляет собой авторегрессионную модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она работает с текстом на входе и выдаёт многоязычный текст и код, поддерживает контекст до 128 тысяч токенов и заявленные языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback; модель поддерживает диалоговые сценарии и tool use. Квантование может снизить требования к памяти и ускорить инференс на совместимом оборудовании, но конкретные показатели качества, скорости и совместимости для этого тестового репозитория не указаны. Использование регулируется Llama 3.1 Community License от Meta, а также Acceptable Use Policy. Лицензия допускает коммерческое и исследовательское применение при соблюдении её условий, включая требования к распространению и маркировке; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное условие.

ZeroXClem разработал Llama-3-Aetheric-Hermes-Lexi-Smaug-8B — объединённую методом TIES диалоговую модель семейства Llama 3 на 7,5 млрд параметров. В состав слияния вошли Badger Writer, Configurable Hermes 2 Pro, Llama 3 Lexi Uncensored и Llama 3 Smaug. Модель использует архитектуру LlamaForCausalLM и предназначена для генерации текста и общения по инструкциям; контекст — до 8192 токенов. Модель подходит для написания рассказов и ролевых диалогов, ответов на вопросы, многоходового общения и генерации кода. Карточка описывает настраиваемый уровень ограничений, но предупреждает, что ответы могут быть нецензурированными и содержать унаследованные предвзятости. Для запуска в bfloat16 могут потребоваться значительные вычислительные ресурсы. В метаданных указана лицензия Apache-2.0, тогда как README называет Meta Llama Community License; лицензионные сведения расходятся, поэтому условия использования следует сверить с файлами лицензии репозитория.

Magnum-v1-72b-Qwen2.5 — слитая автором модели языковая модель на архитектуре Qwen2 для диалогов и генерации текста. Веса объединяют влияние anthracite-org/magnum-v1-72b с Qwen/Qwen2.5-72B-Instruct: автор извлёк LoRA из ранней модели Magnum и перенёс её на Qwen2.5-Instruct, после чего объединил результат в самостоятельную модель. Размер — 71,5 млрд параметров, формат — safetensors, контекст — 32 768 токенов. Модель предназначена для творческой генерации и общения; в описании также отмечены генерация кода и сохранение улучшений Qwen2.5. Заявлены английский язык и интерфейс для вызова инструментов. Автор сообщает о положительных результатах собственных проб, но не приводит формальной оценки качества. Лицензия указана как other.

Magstral 123B — плотная языковая модель на архитектуре Mistral, созданная автором lodrick-the-lafted слиянием весов anthracite-org/magnum-v2-123b и mistralai/Mistral-Large-Instruct-2407. Автор описывает её как простое слияние в пропорции 50/50 методом SLERP, призванное приблизить Magnum v2 к обычному варианту Mistral Large. Модель предназначена для генерации текста и диалогов; каталог также отмечает интерфейс вызова инструментов. Она содержит 122,2 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. Карточка не уточняет языки, на которых модель особенно эффективна, и не приводит результатов оценки качества. В репозитории указана лицензия other; конкретные условия использования следует проверять в файлах лицензии модели и её базовых компонентов. Большой размер модели требует значительных вычислительных ресурсов.

Meta-Llama-3-12B — плотная языковая модель семейства Llama, опубликованная mlabonne. Это экспериментальная сборка из пяти диапазонов слоёв одной и той же NousResearch/Meta-Llama-3-8B с помощью LazyMergekit и метода passthrough; метаданные указывают около 11 млрд параметров, архитектуру LlamaForCausalLM и формат safetensors. Модель предназначена для генерации текста, включая диалоговые сценарии и код, на основе текстовых запросов. В карточке указано контекстное окно 8192 токена; базовая модель ориентирована на английский текст и код. Лицензия обозначена как other, поэтому условия использования следует проверять в репозитории модели и у правообладателя базовой модели. Поскольку исходные диапазоны берутся из одной модели, README не подтверждает прирост качества от этой сборки.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w4a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для генерации текста и диалоговых сценариев в формате ассистента, включая коммерческое и исследовательское применение на английском языке. Она принимает текст на вход и генерирует текст на выходе, поддерживает чатовый режим и может использоваться с backend vLLM, включая OpenAI-совместимую службу. Модель имеет архитектуру LlamaForCausalLM и содержит 8 миллиардов параметров в исходной версии. Веса линейных операторов трансформерных блоков квантизированы в формат INT4 с симметричным покомпонентным масштабированием для групп по 128 параметров. По сравнению с представлением FP16 это примерно на 75% снижает размер модели на диске и требования к памяти GPU. Квантизация выполнена с использованием AutoGPTQ и калибровочного набора Neural Magic. В README приведены результаты восстановления качества относительно неквантизированной версии: 93,0% для Arena-Hard, 98,9% для OpenLLM v1, 96,1% для OpenLLM v2, 99,7% для HumanEval pass@1 и 97,4% для HumanEval+ pass@1. К сильным сторонам относятся уменьшенные требования к памяти и возможность эффективного развертывания при сохранении большей части качества исходной instruct-модели. Ограничением является заявленная область применения преимущественно на английском языке; использование на других языках указано как выходящее за рамки назначения, несмотря на наличие нескольких языков в метаданных карточки. Лицензия — Llama3.1; также необходимо соблюдать ограничения исходной лицензии Meta и применимые законы и нормы.

MetaModel_moe_multilingualv1 — языковая модель с архитектурой Mixtral Mixture of Experts, созданная с помощью mergekit путём объединения нескольких моделей на базе Mistral 7B. В состав объединения входят OpenChat, CodeNinja, PiVoT, WizardMath, komt-mistral, OpenBuddy, open-aditi-hi и SauerkrautLM. Модель предназначена для генерации текста в диалогах и других сценариях, где нужны общие ответы, помощь с кодом и математикой, а также многоязычная генерация. Карточка указывает на языки английский, хинди, немецкий, французский, арабский и японский; размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. README описывает объединение специализированных моделей, но не приводит оценок качества или результатов тестирования. Поэтому пригодность для конкретного языка и задачи следует проверять на собственных примерах; качество может различаться между направлениями, представленными в смеси.

mlx-community/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-OptiQ-4bit — это MLX-квантизированная версия модели GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking, которая представляет собой reasoning fine-tune архитектуры MiniCPM5-1B примерно на 1 млрд параметров. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждениями, программирования, tool calling и function calling. Заявлена поддержка английского и китайского языков, а формат работы ориентирован на Apple Silicon через MLX. Основная точность квантования — 4-bit, при этом чувствительные слои хранятся в 8-bit. Всего квантизировано 169 слоёв: 67 в 8-bit и 102 в 4-bit; эффективная разрядность составляет 5,805 бит на вес. Размер весов уменьшен с 2,0 ГБ в bf16 до 874 МБ, что делает модель удобной для локального запуска на компьютерах Apple Silicon. При генерации модель формирует рассуждения внутри тегов <think>...</think>, поэтому ей требуется достаточно большой лимит max_tokens. К сильным сторонам относятся малый размер, локальная работа без облачных сервисов и PyTorch, поддержка MLX-native serving, смешанной точности KV-cache и LoRA fine-tuning через mlx-optiq. При этом для данной квантованной версии не проводились task-бенчмарки, а распределение разрядности перенесено с базовой модели MiniCPM5-1B и может несколько отличаться по оптимальности для этого fine-tune. В карточке указана лицензия Apache-2.0; также рекомендуется учитывать условия лицензии исходной модели.

Mistral-Nemo-Instruct-heretic — модифицированная версия Mistral-Nemo-Instruct-2407, разработанного совместно Mistral AI и NVIDIA. Модель обработана с помощью Heretic v1.4.0 методом directional ablation («abliteration»): целевые изменения внесены в веса выходных проекций attention и down-projection MLP для подавления отказов без дообучения. Базовый размер модели — 12,2 млрд параметров; доступны веса BF16 и квантизованные версии в формате GGUF. Модель предназначена для диалогов, генерации текста, следования инструкциям, сложных рассуждений, приложений с длинным контекстом, roleplay и локального запуска на потребительских GPU или CPU. Заявлена поддержка многоязычных сценариев, при этом в карточке явно указан английский язык. Модель совместима с Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Доступны квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0 с объёмом файлов примерно от 8,1 до 13,1 ГБ; для контекста требуется дополнительная память. Сильная сторона модели — сохранение основных знаний и возможностей базовой Mistral-Nemo-Instruct-2407 при более прямом следовании запросам и отсутствии встроенного слоя отказов. Ограничение состоит в намеренном подавлении защитного поведения: модель может выполнять потенциально небезопасные запросы, которые базовая версия отклоняет, поэтому её не рекомендуется размещать за незащищённым публичным интерфейсом. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Muse-Glimmer-30B-Abliterated-GGUF — экспериментальная версия 30-миллиардной агентной on-device-модели Muse Glimmer, разработанная Blackfrost на базе meta-models/Muse-Glimmer-30B от Meta. Модель распространяется в формате GGUF для локального запуска через llama.cpp на одной потребительской видеокарте или CPU, полностью офлайн. Вариант abliterated получен изменением весов, направленным на удаление отказов модели; заявленные тесты на 450 запросах показали отсутствие истинных отказов, однако эти результаты относятся к родительской модели и могут не отражать все сценарии использования. Архитектура muse_glimmer включает 52 слоя, скрытое пространство размером 6656, GQA с 32 query- и 2 key/value-головами, sliding-window attention и vision tower. Поддерживаются текстовые и визуальные входы, при этом для обработки изображений требуется отдельный mmproj-проектор. Контекстное окно составляет 131 072 токена. Доступны квантизации от Q2_K до Q8_0 размером примерно от 10 до 27,6 ГБ; рекомендуемым балансом качества и размера назван Q4_K_M. Для ускорения генерации предусмотрен DFlash drafter со speculative decoding в llama-server. Модель предназначена для локальных агентных, мультимодальных, кодовых и общих диалоговых сценариев, включая работу в условиях ограниченного или отсутствующего сетевого доступа. К сильным сторонам относятся большое контекстное окно, локальная работа, широкий выбор квантизаций и поддержка спекулятивного декодирования. Ограничения включают экспериментальный статус, необходимость совместимой свежей версии llama.cpp, значительные требования к памяти, а также потенциальные риски и непредсказуемость поведения из-за удаления защитных отказов. Базовая модель и производная распространяются по лицензии Apache-2.0.

NVIDIA Nemotron-3-Nano-4B-GGUF — это квантизированная версия языковой модели NVIDIA Nemotron-3-Nano-4B, подготовленная bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Указан английский язык; поддержка других языков и мультимодальность не заявлены. Модель имеет около 4 миллиардов параметров в исходной версии и поставляется в вариантах от BF16 до Q2_K_L, включая Q4_K_M, Q5_K_M и Q6_K_L. Квантизация позволяет сократить требования к памяти и запускать модель на локальных устройствах, однако более компактные варианты могут заметно уступать по качеству исходным весам. В README не указаны архитектура, размер контекста, точные показатели производительности и системные требования. Приведён формат промпта с ролями system, user и assistant, а также началом блока рассуждений. При обучении исходной модели использовались наборы данных NVIDIA, охватывающие общие тексты, научные материалы, следование инструкциям, агентные сценарии, календарное планирование, структурированный вывод, математику и соревновательное программирование. Лицензия указана как NVIDIA Nemotron Open Model License; условия следует уточнять в официальном тексте лицензии NVIDIA. Модель подходит для локальной генерации текста, диалоговых приложений, задач следования инструкциям, программирования, математических и агентных сценариев, но конкретные возможности следует проверять для выбранной квантизации.

Карточка модели mayflowergmbh/occiglot-7b-it-en-instruct-hf на Hugging Face совпадает с карточкой occiglot/occiglot-7b-it-en-instruct, поэтому описание составлено по ней. Occiglot-7B-it-en-Instruct — генеративная языковая модель Occiglot Research Collective, дообученная следовать инструкциям и поддерживать диалог. Это плотный decoder-only трансформер Mistral с 7,1 млрд параметров; модель принимает текст и имеет контекст до 32 768 токенов. Карточка описывает поддержку английского и итальянского языков, а также кода; обучение включало многоязычные и программные инструкции, а взаимодействие рассчитано на шаблон ChatML. Модель подходит для диалоговых ответов, выполнения текстовых инструкций, генерации текста и помощи с кодом на английском и итальянском. Это ранний выпуск исследовательского проекта, обученный на дополнительных инструкционных данных; приведённые оценки названы предварительными, а неанглоязычные результаты ограничены особенностями тестовых наборов. Модель не прошла safety alignment и может выдавать проблемный контент. Лицензия — Apache 2.0.

OpenCerebrum-2.0-7B-GGUF — это квантизированная версия языковой модели Locutusque/OpenCerebrum-2.0-7B, подготовленная mradermacher в формате GGUF. Модель предназначена для генерации текста и ответов на вопросы, включая задачи по программированию, математике, химии и биологии. Заявлен английский язык. Модель содержит 7 млрд параметров и распространяется в нескольких вариантах квантизации объёмом примерно от 2,8 до 7,8 ГБ: Q2_K, Q3, IQ3, IQ4, Q4, Q5, Q6 и Q8. Более компактные варианты требуют меньше памяти, но могут уступать по качеству; в README отдельно отмечены Q4_K_S и Q4_K_M как быстрые и рекомендуемые, а Q8_0 — как вариант с наилучшим качеством. Сведения об архитектуре, размере контекста, поддерживаемых модальностях помимо текста и результатах тестирования не указаны. Это open-source модель, опубликованная с лицензией Apache-2.0. README описывает статические квантизации; взвешенные или imatrix-варианты на момент публикации не предоставлялись. Для запуска GGUF-файлов требуется совместимое программное обеспечение, однако конкретные средства инференса не указаны.

TheBloke/openchat-3.5-1210-GGUF — это набор квантованных моделей в формате GGUF для OpenChat 3.5 1210, разработанной командой OpenChat. Квантование выполнил TheBloke. В основе используется архитектура Mistral, а модель предназначена для генерации текста и диалоговых сценариев. Модель обучалась на совокупности датасетов с диалогами, инструкциями, математическими задачами, программированием и отзывами о качестве ответов. Она подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Доступны варианты квантования с разной точностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии, что позволяет выбирать баланс между требованиями к памяти и качеством генерации. README не указывает размер модели, поддерживаемые языки и длину контекста. Квантование снижает требования к ресурсам и упрощает запуск на CPU и GPU, но может немного ухудшать качество по сравнению с исходной неквантованной версией; степень влияния зависит от выбранного варианта квантования. Для корректного диалога рекомендуется шаблон OpenChat-Correct. Модель распространяется по лицензии Apache 2.0.

OpenChat 3.6 8B — это набор квантованных сборок модели openchat-3.6-8b-20240522 в формате GGUF с использованием imatrix. Модель разработана проектом OpenChat, а представленные квантования опубликованы пользователем или организацией duyntnet. Она предназначена для генерации текста, диалогов, программирования и решения общих задач. В README указана поддержка английского языка и текстовая модальность. Модель имеет размер около 8 миллиардов параметров. Для общения используется шаблон GPT4 Correct с маркером окончания генерации <|end_of_turn|>; также доступен встроенный chat_template. Формат GGUF и квантование ориентированы на запуск в совместимых локальных средствах инференса с потенциально сниженным потреблением памяти, однако конкретные варианты квантования и их характеристики в README не перечислены. Ограничения качества, размер контекста и дополнительные модальности не указаны. Лицензия обозначена как other, без уточнения условий использования.

Это GGUF-квантизированная версия OpenCoder-8B-Instruct, разработанного infly. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и работы в формате инструкций, включая сценарии локального запуска через llama.cpp и LM Studio. Модель содержит 8 миллиардов параметров и доступна в вариантах от F16 до различных Q2–Q8-квантизаций, что позволяет выбирать баланс между качеством, скоростью и потреблением памяти. В README указана поддержка английского и китайского языков. Формат взаимодействия использует специальные токены system, user и assistant. Данные о точной архитектуре, размере контекстного окна и поддерживаемых модальностях отсутствуют; по назначению это текстовая, а не мультимодальная модель. Сильной стороной являются многочисленные варианты квантизации, включая рекомендуемые Q4 и Q5, а также более качественные Q6 и Q8, благодаря чему модель можно адаптировать под разные аппаратные ограничения. Более компактные варианты снижают требования к памяти, но могут заметно уступать по качеству; ARM-оптимизированные варианты требуют соответствующих аппаратных инструкций и не рекомендуются для Mac или Windows. Модель основана на OpenCoder-8B-Instruct и распространяется с лицензией inf, подробные условия которой приведены в отдельном LICENSE-файле.

amazingvince/openhermes-7b-dpo — экспериментальная DPO-донастройка модели OpenHermes, опубликованная автором репозитория. В README она описана как дообучение OpenHermes на данных, призванных улучшить способности модели; базовая линия OpenHermes 2.5 основана на Mistral 7B и включает дополнительное обучение на наборах инструкций по программированию. Метаданные указывают на плотную авторегрессионную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате, включая ответы на инструкции и вопросы; базовое семейство также ориентировано на задачи с кодом. В карточке сказано, что модель экспериментальная, а подробности будут добавлены позднее. Доступны веса Safetensors, лицензия — Apache-2.0. README не приводит результатов именно этой версии, поэтому её качество и улучшения относительно базовой модели подтвердить нельзя.

Open-Instruct ShareGPT 7B — языковая модель семейства LLaMA, дообученная Allen Institute for AI на очищенном наборе диалогов ShareGPT по схеме, близкой к Vicuna. Это чекпойнт для генерации текста и ответов на инструкции в диалоговом формате; для работы с ним требуется базовая модель LLaMA в формате Hugging Face, поскольку репозиторий содержит diff весов. Модель имеет плотную архитектуру LlamaForCausalLM, около 6,6 млрд параметров и контекст до 2048 токенов. Она принимает текст и генерирует текст; в карточке указан английский язык. В README приведены результаты на академических бенчмарках, включая MMLU, GSM и Codex-Eval. Качество генерации зависит от соблюдения указанного в карточке формата входа, включая перевод строки после маркера начала ответа. Лицензирование регулируется лицензией модели из LICENSE.txt и исходной лицензией LLaMA; условия следует проверить в этих файлах перед использованием.

PasteProof PII Detector — модель на базе ModernBERT, дообученная автором joneauxedgar для обнаружения и разметки персональных данных и секретов в тексте. Она выполняет NER с классификацией токенов и распознаёт 27 типов сущностей, включая платёжные данные, учётные данные и медицинские идентификаторы. Модель предназначена для предупреждений перед вставкой чувствительных данных в браузерные формы, чаты и публичные репозитории, а также для проверки кода, документов и потоков данных. В карточке заявлен F1 0,972 на отложенной выборке; обучение проводилось на 150 тысячах синтетических примеров. Метаданные указывают архитектуру ModernBERT, 149 млн параметров и контекст до 8192 токенов, тогда как README сообщает ограничение в 512 токенов — фактический рабочий предел следует проверять при использовании. Обучающие данные англоязычные; модель может пропускать обфусцированные значения, новые форматы ключей и чувствительные сущности, распознаваемые только по контексту, а также давать ложные срабатывания на случайных строках и тестовых данных. Это вспомогательный детектор, а не гарантия безопасности. Лицензия — Business Source License 1.0 (BSL-1.0).

Phi-4-mini-instruct-4bit — это 4-битная версия модели Phi-4-mini-instruct, разработанной Microsoft и преобразованная в формат MLX с использованием mlx-lm 0.21.5. Модель предназначена для генерации текста в диалоговом формате, решения задач обработки естественного языка и работы с кодом. Модель относится к семейству text-generation, поддерживает мультиязычные сценарии согласно карточке и использует базовую модель microsoft/Phi-4-mini-instruct. Ключевая особенность этой версии — 4-битное представление в формате MLX, что ориентировано на запуск через библиотеку mlx-lm. Архитектура, количество параметров, максимальная длина контекста и точный перечень языков в README не указаны. Сильными сторонами являются инструктивная настройка, поддержка диалогового шаблона и компактное 4-битное представление. Ограничения связаны с отсутствием в карточке подробных характеристик качества, производительности, размера модели и контекста; поэтому область применимости и результаты на конкретных задачах следует оценивать отдельно. Модель распространяется по лицензии MIT.

lmstudio-community/Phi-4-reasoning-plus-MLX-4bit — это версия модели Microsoft Phi-4-reasoning-plus, преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке, включая задачи рассуждения, математики, программирования и обработки естественного языка. Модель поддерживает использование через библиотеку mlx-lm и совместима с чатовым шаблоном токенизатора. В названии указано 4-битное представление, однако архитектура, количество параметров, размер контекста и точные характеристики модальностей в README не приведены; по указанным данным модель является текстовой и не предназначена для обработки изображений или других мультимедийных данных. Лицензия — MIT. README не содержит результатов тестирования, поэтому количественно оценить сильные стороны и ограничения модели невозможно; к ограничениям относятся неизвестные параметры производительности и качества, а также заявленная языковая поддержка только английского языка.

PhoneLM-1.5B-Instruct — англоязычная авторегрессионная языковая модель на 1,6 млрд параметров, разработанная командой mllmTeam. Это дообученная для следования инструкциям версия PhoneLM-1.5B, предназначенная для генерации текста и диалоговых ответов. Модель использует декодерный трансформер с 19 слоями, скрытым размером 2560, 16 головами внимания и контекстом до 2048 токенов. Архитектура включает Rotary Position Embeddings для первой четверти размерности голов внимания, LayerNorm с обучаемыми смещениями и ReLU в полносвязных слоях; токенизатор основан на токенизаторе SmolLM с размером словаря 49 152. В обучении использовались наборы инструкций, диалогов, математических заданий и кода. Модель распространяется в формате safetensors по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык; сведений о поддержке других языков нет.

Qwen2-1.5B-Instruct-AWQ — инструкционно дообученная языковая модель серии Qwen2, разработанная командой Qwen. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, выполнение инструкций, написание и обработку текстов, а также задачи, связанные с кодом, математикой и рассуждениями. Модель содержит 1,5 млрд параметров и основана на архитектуре Transformer с активацией SwiGLU, смещениями в QKV внимания и group query attention. Она является текстовой авторегрессионной моделью и использует улучшенный токенизатор, адаптированный для нескольких естественных языков и языков программирования. Версия AWQ содержит квантизацию, рассчитанную на снижение потребления памяти и повышение эффективности инференса; конкретные требования к памяти и показатели производительности зависят от среды запуска. К сильным сторонам относятся компактный размер, поддержка диалогового режима и широкий спектр языковых, кодовых, математических и логических задач. По сравнению с более крупными моделями качество и глубина рассуждений могут быть ограничены, а README не содержит данных о длине контекста, точном перечне поддерживаемых языков и количественных результатах бенчмарков. Модель распространяется по лицензии Apache 2.0.

Qwen2-7B — базовая предобученная языковая модель из семейства Qwen2, разработанного командой Qwen. Это плотная авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров; в README указаны SwiGLU, смещение в проекциях QKV и групповое внимание. Модель принимает текст и предназначена для дообучения, например с помощью SFT, RLHF или продолжения предобучения, перед использованием в прикладной генерации текста. Модель оценивается на задачах понимания и генерации текста, вопросах и ответах, программировании, математике, рассуждениях и многоязычных тестах. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. Метаданные указывают контекст до 131 072 токенов и формат весов safetensors; карточка описывает базовую, а не instruction-tuned версию. Модель распространяется по лицензии Apache-2.0. Разработчики не рекомендуют использовать базовую версию для непосредственной генерации текста; качество на конкретных прикладных задачах может потребовать постобучения и отдельной проверки.

Это компактная языковая модель Qwen3-1.7B на 1,7 млрд параметров, подготовленная для запуска на RK1820 и работы через LlamaPi. В основе — плотная архитектура Qwen3ForCausalLM; репозиторий содержит веса в формате GGUF. Модель разработала команда Qwen, а данная версия основана на Qwen/Qwen3-1.7B. Модель генерирует текст и подходит для диалогов, следования инструкциям, рассуждений и написания кода. Поддерживает режимы с рассуждением и без него, а также более 100 языков и диалектов. Контекстное окно — до 40 960 токенов. Метаданные указывают интерфейс для вызова инструментов. Модель распространяется по лицензии Apache-2.0. Это компактная модель для локального и периферийного запуска; качество ответов и скорость могут зависеть от устройства и конфигурации. README не приводит отдельной оценки качества этой сборки.

Модель t-firefly/qwen3-1.7b-rknn3-rk1828 — адаптация Qwen3-1.7B, разработанной командой Qwen, для запуска на устройстве RK1828 через LlamaPi. Это плотная причинная языковая модель с 1,7 млрд параметров; репозиторий содержит веса в формате GGUF. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования и рассуждений. Поддерживает режимы с рассуждением и без него, а также более 100 языков и диалектов. Контекстное окно составляет 40 960 токенов. Модель подходит для локальных сценариев на периферийных устройствах, где нужны компактный диалоговый помощник, ответы на инструкции или помощь с кодом. Метаданные отмечают интерфейс вызова инструментов, однако подробности его использования в карточке не приведены. Лицензия — Apache-2.0.

Furiosa-AI Qwen3-30B-A3B-FP8 — оптимизированная сборка модели Qwen3-30B-A3B-FP8, распространяемая вместе с Furiosa Executable Bundle для запуска на ускорителях FuriosaAI RNGD с помощью Furiosa-LLM. Исходная модель относится к семейству Qwen3; карточка Furiosa-AI предназначена для работы с этой моделью в специализированной инфраструктуре. Это авторегрессионный текстовый Transformer с архитектурой Mixture-of-Experts (MoE): всего около 30,5 млрд параметров, из которых примерно 3,3 млрд активируются для каждого токена. Модель работает в режимах с рассуждением и без него, поддерживает переключение режима для каждого запроса, генерацию текста, следование инструкциям, мультиязычные сценарии и вызов инструментов. Входная и выходная модальности — текст; конкретный размер контекста и перечень поддерживаемых языков в README не указаны. Веса статически квантизованы в FP8, активации во время выполнения используют динамическую FP8-квантизацию, а KV-кэш сохраняется в 16-битной точности. Поддерживаются reasoning-parser для отделения рассуждений от ответа и hermes-парсер для вызова функций. Сборка рассчитана на Furiosa-LLM и FuriosaAI RNGD; на этой платформе используется тензорный параллелизм на 32 вычислительных элементах, что соответствует четырём картам RNGD. Это ограничивает непосредственную применимость сборки вне совместимой аппаратной и программной инфраструктуры, хотя исходная модель также запускается в других фреймворках. Модель распространяется по лицензии Apache 2.0.

huihui-ai/Qwen3-32B-abliterated — версия Qwen3-32B, созданная huihui-ai методом abliteration, который изменяет модель для уменьшения числа отказов. Автор описывает реализацию как грубую проверку концепции. Модель предназначена для диалоговой генерации текста и может использоваться через Transformers или Ollama. Это плотная многоязычная модель на 32 млрд параметров, дообученная на Qwen/Qwen3-32B; в репозитории указаны веса safetensors и библиотека Transformers. Модель ориентирована на чат и сохраняет общую область применения базовой Qwen3: рассуждения, программирование и работу с инструментами. Лицензия — Apache-2.0. Уменьшение отказов не гарантирует их полного отсутствия и может влиять на поведение и надёжность ответов.

TeichAI/Qwen3-4B-Thinking-2507-Gemini-2.5-Flash-Distill-GGUF — языковая модель для генерации текста, созданная TeichAI на основе Qwen3-4B-Thinking-2507. Модель обучалась методом дистилляции на наборе TeichAI/gemini-2.5-flash-11000x, чтобы воспроизводить поведение, рассуждения, стиль ответов и знания Gemini 2.5 Flash. Указана лицензия Apache-2.0. Модель предназначена для программирования, научных и юридических задач, работы с историческими и маркетинговыми текстами, а также для применения общего назначения. Она поддерживает текстовую генерацию; в README указан английский язык. Архитектура относится к семейству Qwen3 с размером около 4 млрд параметров, однако сведения о длине контекста, точной структуре GGUF-квантизации и дополнительных модальностях не приведены. По опубликованным тестам модель превзошла базовую Qwen3-4B-Thinking-2507 в пяти из шести сравнений: ARC-Challenge, GPQA Diamond, HellaSwag, MMLU и Winogrande. Среднее улучшение составило 0,0191, при этом результат TruthfulQA оказался немного ниже базовой модели. Эти показатели характеризуют результаты на указанных наборах тестов и не гарантируют аналогичное качество в прикладных сценариях; возможны ошибки, особенно в сложных вопросах и задачах, требующих фактической точности.