II.2Создание и понимание программного кода
В разделе собраны самостоятельные задачи, где AI помогает писать, объяснять и связывать программный код с требованиями и существующей системой. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
21 443 моделиMRAI_synatra_7B_v1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и MRAIRR/MRAI_synatra_7B_v1 методом SLERP. Она предназначена для генерации текста и выполнения инструкций в чате. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Слияние собрано в bfloat16 с помощью MergeKit; в качестве базовой модели указан mistralai/Mistral-7B-Instruct-v0.2. В карточке не описаны специализированные области применения или подтверждённый перечень языков. Модель распространяется по лицензии Apache-2.0.
NekoMind1.6-Base — базовая предварительно обученная языковая модель серии NekoMind от nekocyrene для генерации текста. Это декодерный Transformer с архитектурой Mixture-of-Experts: 20 слоёв, из которых 18 используют разреженные блоки экспертов с маршрутизацией top-4, а первые два — плотные MLP. В README указано 1,5 млрд параметров всего и около 300 млн активируемых на токен; метаданные каталога указывают 284,4 млн параметров, поэтому фактический размер следует считать расходящимся между источниками. Модель использует RoPE, SwiGLU, RMSNorm и GQA, имеет контекст до 32 768 токенов и поддерживает чатовый шаблон и интерфейс вызова инструментов. Модель предназначена для продолжения текста и диалоговых сценариев, а также может служить основой для дальнейшей адаптации. README не приводит оценок качества, перечня поддерживаемых естественных языков или специализированных предметных областей. Для загрузки требуется Transformers не ниже 4.51.0, PyTorch не ниже 2.1.0 и включение trust_remote_code=True, поскольку пользовательский код архитектуры ещё не включён в основную библиотеку Transformers. Лицензия репозитория — Apache-2.0.
NeuralContext-7b-v1 — объединённая языковая модель, созданная Kukedlc с помощью LazyMergekit на основе пяти моделей семейства Mistral. Она предназначена для генерации текста и диалоговых ответов на инструкции. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и имеет контекстное окно до 32 768 токенов. Модель принимает текст и генерирует текст; среди её базовых компонентов — Mistral-7B-Instruct-v0.2, Hermes-2-Pro-Mistral-7B и Yarn-Mistral-7b-128k. Репозиторий предоставляет веса в формате safetensors. Лицензия — Apache-2.0. README не приводит оценок качества или результатов тестирования, поэтому пригодность для конкретных задач стоит проверять самостоятельно.
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-4bit — языковая модель, разработанная NVIDIA и преобразованная сообществом mlx-community в формат MLX. Она предназначена для генерации текста и локального запуска с использованием библиотеки mlx-lm, включая диалоговые сценарии и другие задачи text generation. Модель представляет собой гибридную Mixture-of-Experts-архитектуру Mamba-2 и attention. Она содержит около 31 млрд параметров, при этом для каждого токена активно используется примерно 3 млрд. Версия выполнена в 4-битной квантизации с размером группы 64 и создана на основе NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 с помощью mlx-lm 0.31.3. В README указана поддержка английского, испанского, французского, немецкого, итальянского и японского языков. К сильным сторонам относятся сочетание большой общей емкости с небольшим числом активных параметров на токен, а также адаптация к MLX для запуска в соответствующей экосистеме. Ограничения включают необходимость совместимого окружения MLX и отсутствие в предоставленных данных сведений о контексте, производительности, мультимодальности и конкретных аппаратных требованиях. Модель распространяется по лицензии openmdw-1.1.
OpenBuddy Mistral 7B v13.1 — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и OpenBuddy/openbuddy-mistral-7b-v13.1 методом SLERP с помощью MergeKit. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текстовых ответов по запросу. Репозиторий содержит веса SafeTensors. Лицензия — Apache-2.0. В предоставленной карточке не описаны результаты оценок качества или специальные меры безопасности.
MaziyarPanahi/openbuddy-zephyr-7b-v14.1-Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия текстовой языковой модели OpenBuddy Zephyr 7B v14.1 на базе Mistral-7B-Instruct-v0.1. Модель подготовил и квантизировал MaziyarPanahi. Файлы распространяются в формате GGUF, предназначенном для локального запуска с llama.cpp и совместимыми приложениями и библиотеками. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через локальные графические интерфейсы, серверы и Python-библиотеки. В метаданных указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством вывода. К сильным сторонам относятся компактность 7B-модели, возможность локального использования и широкий выбор уровней квантизации. К ограничениям относятся потенциальная потеря качества при низкой разрядности, зависимость производительности от используемого клиента и оборудования, а также отсутствие в README данных о размере контекстного окна, результатах тестирования и мультимодальных возможностях; по представленным данным модель является текстовой. Лицензия — Apache 2.0.
OpenLumen 2 Pulsar — текстовая модель с открытыми весами, выпущенная Aeonthic как вариант семейства Lumen 2 Pulsar. Она дообучена на архитектуре Gemma 4 26B-A4B от Google DeepMind и распространяется в формате FP16 для инференса, исследований, экспериментов и дальнейшей настройки. В репозитории указаны архитектура MoE, около 2 млрд параметров и контекст до 262 144 токенов; поддерживается диалоговое использование. Модель принимает и выдаёт текст, функции обработки изображений в этой версии нет. Обычный формат Transformers рассчитан на совместимый запуск без стека QAT Lumen. Чекпойнт занимает около 48 ГБ, поэтому для инференса могут потребоваться несколько GPU или выгрузка части вычислений на CPU. Разработчик предупреждает, что низкобитное квантование после обучения может заметно ухудшить работу: в частности, Q4_0 способен серьёзно нарушить поведение модели; для сохранения ожидаемого качества рекомендуется FP16. Данные обучения публично не выпущены. Лицензия репозитория — Apache-2.0; разработчик также указывает, что пользователи сами отвечают за оценку результатов и соблюдение условий лицензии и законодательства.
OpenYourMind выпустил вариант NVIDIA Nemotron-3-Ultra-550B-A55B с ослабленными отказами на запросы: в веса внесена правка методом abliteration, а сама модель представлена в формате NVFP4. Архитектура NemotronHForCausalLM сочетает Mamba-2, Attention и Latent-MoE; в README указаны 550 млрд параметров всего и 55 млрд активных, 108 слоёв и сохранённая голова MTP для спекулятивного декодирования. Модель предназначена для генерации текста, диалогов и задач рассуждения; режим enable_thinking позволяет получать рассуждения перед ответом. Автор заявляет, что после правки сохранены рассуждения, связность и фактическая точность, но независимые оценки в карточке не приведены. Весовой набор занимает около 329 ГБ; для запуска полного контекста README рекомендует узел с 4× B200/B300 или 8× H100 и vLLM версии 0.22 или новее. Указан контекст до 262 144 токенов. Лицензия — OpenMDW-1.1, унаследованная от базовой модели.
Poro-34B-chat — это чат-модель LumiOpen, созданная в сотрудничестве SiloGen (Silo AI), группы TurkuNLP Университета Турку и проекта High Performance Language Technologies. Она получена дообучением с учителем базовой Poro-34B на наборах инструкций на финском и английском языках; около 40% примеров англоязычные, 40% финноязычные и 20% межъязыковые. Модель основана на плотной архитектуре BLOOM, содержит 45,3 млрд параметров и использует библиотеку Transformers и формат safetensors. Модель предназначена для диалогов и выполнения инструкций на финском и английском. Она также способна писать код и выполнять базовый перевод между этими языками. Для диалога используется шаблон ChatML. В карточке приведены оценки MTBench на английском и финском языках; они показывают неодинаковое качество по категориям, в частности более низкие результаты в математике и программировании. Модель выпущена под лицензией Apache-2.0. Среди ограничений — ограниченный объём финноязычных данных для настройки инструкций; часть финских обучающих примеров получена машинным переводом англоязычных наборов. Количественные результаты бенчмарков не гарантируют качество в конкретных прикладных задачах.
ljsabc/Qwen-1.5-14B-Chat-Fujisaki — разговорная языковая модель на архитектуре Qwen2 с плотной causal language model архитектурой. Карточка описывает запуск через класс AutoModel, а метаданные указывают 13,4 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате. Репозиторий содержит веса в safetensors и распространяется по лицензии MIT. Карточка не описывает специальное назначение или подтверждённые улучшения относительно Qwen-1.5-14B-Chat.
Qwen3-30B-A3B-Instruct-2507-GGUF — языковая instruction-модель для генерации текста, созданная Qwen и представленная в формате GGUF сообществом LM Studio. Она основана на исходной модели Qwen3-30B-A3B-Instruct-2507; GGUF-квантизация выполнена командой LM Studio с использованием llama.cpp версии b6022. Модель предназначена для сценариев, связанных с обработкой и генерацией текста, включая работу через совместимые локальные приложения и инструменты на базе llama.cpp. В названии указана конфигурация 30B-A3B, однако README не содержит подробностей об архитектуре, фактическом количестве активных параметров, размере контекста, поддерживаемых языках, доступных модальностях и конкретных вариантах квантизации. К сильным сторонам относятся instruction-настройка и формат GGUF, удобный для локального запуска в совместимой инфраструктуре. При этом отсутствуют сведения о результатах тестирования и специализированных возможностях, поэтому качество на конкретных задачах по README оценить нельзя. Как и другие генеративные модели, она может выдавать неточную, вредную или неподходящую информацию. Для модели указана лицензия Apache-2.0.
Модель clijo/qwen3-4b-instruct-2507-bf16-reco-grpo-b200-gentle-blue-orbit — дообученная с помощью TRL версия Qwen/Qwen3-4B-Instruct-2507, разработанная автором репозитория clijo. Это плотная языковая модель примерно на 3,7 млрд параметров с архитектурой Qwen3ForCausalLM, предназначенная для генерации текста в диалоговом формате и выполнения инструкций. В карточке приведён пример запуска через Transformers для ответа на вопрос пользователя. Модель принимает текст и генерирует текст; максимальная длина контекста — 262 144 токена. Метаданные указывают на формат safetensors и возможность диалога. Лицензия и специальные области применения в предоставленных данных не описаны.
Это нативный 3-битный TurboQuant-чекпойнт Qwen3.6-35B-A3B, подготовленный varjosoft на основе Qwen/Qwen3.6-35B-A3B. Он предназначен для генерации текста в диалогах и запуска через vLLM с плагином turboquant-plus-vllm версии 0.13.5 или новее. Модель использует MoE-архитектуру с 35 млрд общих и примерно 3 млрд активных параметров, 256 экспертами, сочетанием GatedDeltaNet и внимания с частичной rotary-позиционной кодировкой. Веса экспертов упакованы в нативный формат TQ3; размер чекпойнта составляет около 16 ГБ вместо примерно 70 ГБ для BF16, при этом отдельные компоненты хранятся в FP16. Чекпойнт проверен на нескольких ускорителях NVIDIA и требует vLLM 0.20.2 или новее. Он ориентирован на более компактное размещение модели и инференс через совместимый загрузчик; README приводит скорость около 16 токенов в секунду при заданной конфигурации A100 и batch size 1. Базовая модель описана в каталоге как мультимодальная, однако эта карточка указывает text-generation и демонстрирует текстовые запросы и ответы. Лицензия — Apache-2.0. В примере модель выводит видимую цепочку рассуждений; качество и поведение после 3-битного сжатия могут отличаться от исходных весов.
Qwen3.6-35B-A3B-VQ-3.8bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.6-35B-A3B, опубликованная TheDrainFlorist для Apple Silicon. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями; поддерживает запуск через MLX, mlx-lm и mlx-vlm. В README указан английский язык. Архитектура включает MoE с 35 млрд параметров и активной частью около 3 млрд параметров, а также vision tower; точный размер контекста не указан. Модель занимает около 15,7 GiB и использует равномерное vector quantization экспертных слоёв с геометрией d=4, K=8192, 13-битными индексами и fp16 codebook, тогда как неэкспертные тензоры имеют 8-битное представление. По сравнению с bf16-версией она заметно компактнее и демонстрирует меньшее расхождение с эталонным распределением, чем распространённая 4-битная сборка, однако уступает 8-битной по совпадению наиболее вероятных токенов. Скорость именно этого артефакта не измерялась; модель комфортно работает на машинах с 24 ГБ памяти и может запускаться на 16 ГБ при коротком контексте. Для изображений требуется mlx-vlm версии 0.6.16 или новее, а загрузчик должен поддерживать ключ model_file. Лицензия — Apache-2.0.
Sakalti/QwenLinear-1 — текстовая генеративная модель на архитектуре Qwen2, созданная разработчиком Sakalti с помощью линейного слияния весов Sakalti/light-7b-beta через mergekit. Она предназначена для генерации текста и диалогового общения; в метаданных также заявлен интерфейс вызова инструментов. Модель содержит 3,8 млрд параметров, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors для Transformers. Модель может использоваться в чат-ботах и приложениях генерации текста. README указывает Apache License 2.0. Карточка не приводит сведений о языках или специализированной предметной области, поэтому их нельзя уточнить по имеющимся данным.
Это GGUF-квантизированная версия языковой модели Qwen3-235B-A22B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и сценариев, требующих рассуждений; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. Архитектура и точные характеристики исходной модели, включая число активных параметров, контекст, поддерживаемые языки и модальности, в представленном README не описаны. Указано обозначение 235B-A22B, а также наличие множества вариантов квантования от Q8_0 до Q2_K и IQ-квантов. Размер файлов составляет примерно от 83,33 до 249,94 ГБ. Более качественные варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые, тогда как низкобитные варианты экономят память, но снижают качество. Основные преимущества модели — доступность высококачественных квантований и возможность локального запуска на совместимом оборудовании. Ограничения связаны с очень большим размером файлов и зависимостью качества от выбранного типа квантования. Лицензия в README не указана.
tayaee/Single_GPU_Llama3-8B — языковая модель семейства Llama 3 для генерации текста, опубликованная пользователем tayaee на Hugging Face. README содержит автоматически созданную карточку без сведений о разработчике, обучающих данных, результатах оценки и лицензии. Модель предназначена для задач генерации и продолжения текста, диалоговых сценариев, создания черновиков и интеграции в приложения на базе библиотеки Transformers. В метаданных указаны поддержка тегов text-generation и conversational, размер около 7,5 млрд параметров и контекстное окно до 131 072 токенов. Доступна в формате safetensors и рассчитана на запуск в сценариях, ориентированных на использование одного GPU, согласно названию модели. Языки естественного языка в метаданных не указаны. Для модели не приведены результаты бенчмарков, сведения о точности, лицензии или специальных доменах применения, поэтому перед использованием в критически важных системах необходимы самостоятельное тестирование и проверка условий распространения.
smartyplats-7b-v2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на 7,1 млрд параметров, созданная слиянием Mistral-7B-Instruct-v0.2 и smartyplats-7b-v2 методом SLERP. Репозиторий связывает её с базовой моделью mistralai/Mistral-7B-Instruct-v0.2; веса опубликованы в формате SafeTensors. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Архитектура — плотная MistralForCausalLM, контекст — до 32 768 токенов. Карточка не приводит специальных сведений о поддерживаемых естественных языках или узкой предметной области. Лицензия — Apache-2.0. Карточка описывает метод слияния и его конфигурацию, но не содержит сравнительной оценки качества или конкретных ограничений применения.
Starling-LM-11B-alpha-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 от Mistral AI и Delcos/Starling-LM-11B-alpha методом SLERP с помощью mergekit. Модель построена на архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Её можно применять для чат-ботов и интерактивных текстовых помощников. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Метаданные указывают на поддержку чата, но языки в предоставленных данных не перечислены.
TheTop-7B-DPO-S2-v0.2 — объединённая Maziyar Panahi языковая модель на 7,1 млрд параметров, созданная методом SLERP из нескольких моделей класса 7B. Она использует архитектуру MistralForCausalLM и предназначена для генерации текста по текстовому запросу; заявленный контекст составляет 32 768 токенов. Модель подходит для диалогов, ответов на вопросы и других сценариев генерации текста. Веса опубликованы в формате Safetensors для Transformers. Лицензия — Apache 2.0.
Это производная сборка ThinkingCap-Qwen3.8-27B, созданная dewamade для быстрого запуска на одной видеокарте с 24 ГБ памяти через форк HyperQwen для vLLM. Исходная ThinkingCap-модель — дообученная BottleCap AI версия Qwen3.8-27B; в этой сборке веса перекалиброваны и упакованы в формат compressed-tensors для обслуживания запросов с MTP speculative decoding. Модель предназначена для диалоговой генерации текста и рассуждений. Веса линейных слоёв и языковой головы используют GPTQ INT4 с группами по 128 элементов, эмбеддинги — INT8; также включён MTP-модуль, а словарь черновой головы ограничен 40 тысячами токенов. README сообщает о KV-кэше на 201 275 токенов в описанном профиле обслуживания, но не задаёт нативную длину контекста модели. Сборка рассчитана на одиночную подачу запросов на GPU класса RTX 3090/4090 с 24 ГБ памяти и требует совместимого форка HyperQwen vLLM и соответствующего лаунчера. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты. Языки модели и её ограничения качества отдельно не описаны.
Aquila2-70B-Expr — базовая плотная авторегрессионная языковая модель серии Aquila2, опубликованной BAAI. Она предназначена для генерации текста и может служить основой для прикладных систем на базе языковых моделей. В README модель отнесена к базовым, а не к чат-моделям AquilaChat2. Модель содержит 69,3 млрд параметров, построена на архитектуре Aquila и рассчитана на контекст до 4096 токенов. Репозиторий содержит веса PyTorch. Для семейства Aquila2 README сообщает о базовых, чат- и длинноконтекстных вариантах; расширенные возможности других вариантов нельзя автоматически приписывать этой модели. Лицензия указана как other, поэтому конкретные условия использования следует проверять в лицензионных материалах репозитория. Специальная настройка на определённый язык или предметную область в предоставленных данных не описана.
Blitz-AI-DARE-v0.1 — объединённая модель на базе Mistral, созданная DenisTheDev с помощью mergekit из mlabonne/Monarch-7B, bobofrut/ladybird-base-7B-v8 и bardsai/jaskier-7b-dpo-v5.6. Она предназначена для генерации текста и ответов на запросы в приложениях с текстовым вводом. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка не описывает отдельные специализированные сценарии или дополнительные модальности.
calme-2.1-qwen2-72b-GGUF — это квантизированная версия дообученной языковой модели calme-2.1-qwen2-72b, разработанная и квантизированная MaziyarPanahi на основе Qwen/Qwen2-72B-Instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, рассуждения и выполнение инструкций. Она распространяется в формате GGUF с вариантами квантования от 2 до 8 бит, а также 16-битной версией, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы, в том числе при локальном запуске через llama.cpp. Архитектура, модальности, поддерживаемые языки и размер контекста в README не указаны. Для взаимодействия используется шаблон ChatML. В приведённых оценках модель получила accuracy 0,6761 на TruthfulQA, 0,8248 на Winogrande, 0,7184 нормализованной accuracy на ARC-Challenge и до 0,8893 exact match на GSM8K; эти результаты характеризуют отдельные тесты и не гарантируют качество в любых прикладных сценариях. Квантизация может уменьшать требования к ресурсам, но потенциально сопровождается потерей качества по сравнению с исходной точностью. Лицензия обозначена как other; в качестве лицензии указана tongyi-qianwen, а ссылка ведёт на лицензию Qwen/Qwen2-72B-Instruct. Условия использования следует уточнять по указанному лицензионному документу.
CausalLM 14B — языковая модель на архитектуре LLaMA с 14 миллиардами параметров, разработанная CausalLM. TheBloke подготовил её квантованные версии в формате GGUF, предназначенные для локального запуска и инференса через llama.cpp и совместимые инструменты. Модель относится к классу text-generation и поддерживает английский и китайский языки. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона ChatML. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти, включая запуск на CPU и GPU. Формат GGUF поддерживается llama.cpp, text-generation-webui, LM Studio, KoboldCpp, ctransformers, llama-cpp-python и другими клиентами. К сильным сторонам относятся широкий набор обучающих данных, поддержка локального инференса и несколько уровней квантования. Ограничения включают отсутствие сведений о размере контекста, точных характеристиках производительности и мультимодальных возможностях; по представленным данным модель следует рассматривать как текстовую. Исходная модель заявлена под лицензией WTFPL, а квантованные версии также сопровождаются условиями Meta Llama 2 License, поэтому применимость и взаимодействие этих лицензий необходимо проверять перед использованием.
Kaballas/Cyber22 — языковая модель семейства Llama, разработанная Kaballas и дообученная на базе Cyber21. Это плотная авторегрессионная модель с 7,5 млрд параметров для генерации текста; метаданные также отмечают поддержку чата и интерфейса вызова инструментов. Модель обучалась с использованием Unsloth и библиотеки TRL. Она предназначена для генерации ответов и ведения диалога на английском языке. Репозиторий содержит веса в формате Safetensors, модель опубликована под лицензией Apache 2.0. Заявленная длина контекста — 131 072 токена.
EssentialAI_rnj-1-instruct-GGUF — это набор GGUF-квантизованных версий instruct-модели rnj-1-instruct, разработанной Essential AI и квантизованной пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных средах, совместимых с llama.cpp, включая LM Studio и другие проекты на его основе. Доступны варианты от BF16 до 3- и 4-битных форматов, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Размеры файлов варьируются примерно от 3,8 до 16,6 ГБ; наиболее качественными считаются BF16, Q8_0 и варианты Q6, а Q4 предназначены для более универсального локального использования. В README не указаны архитектура, максимальная длина контекста, поддерживаемые языки, число параметров и мультимодальные возможности, поэтому модель следует считать текстовой без подтверждённой поддержки других модальностей. Сильные стороны — широкий выбор степеней квантизации, возможность запуска на локальном оборудовании и сохранение высокого качества у вариантов Q5–Q8. Более компактные варианты экономят память, но могут заметно уступать по качеству; низкобитные версии характеризуются как менее качественные или нерекомендуемые. Для работы требуется использовать рекомендованный формат prompt-шаблона rnj-1 и совместимый inference-движок. Указанная лицензия — Apache-2.0.
EVA-Qwen2.5-32B-v0.1-GGUF — это GGUF-квантизация текстовой генеративной модели EVA-Qwen2.5-32B-v0.1, разработанной EVA-UNIT-01. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, включая задачи следования инструкциям, написания текстов и ролевого взаимодействия; в обучении использовались наборы данных для instruction-following, creative writing, roleplay и синтетических диалогов. Модель основана на семействе Qwen2.5 и содержит 32 млрд параметров. Доступны варианты от F16 до различных 8-, 6-, 5-, 4- и 3-битных квантизаций, включая форматы, оптимизированные для ARM. Более качественные варианты требуют значительного объёма памяти, тогда как младшие квантизации подходят для систем с ограниченными ресурсами, но могут заметно уступать по качеству. README не указывает поддерживаемые языки, размер контекста и мультимодальные возможности, поэтому их нельзя достоверно определить по предоставленным данным. Для работы рекомендуется использовать формат prompt с маркерами Qwen и совместимый inference-инструмент, например LM Studio или llama.cpp. Модель распространяется по лицензии Apache-2.0.
EXAONE-4.0-1.2B-GGUF — это компактная языковая модель семейства EXAONE 4.0, разработанная LG AI Research. Данная версия представлена в формате GGUF и предназначена для локального запуска, включая on-device-сценарии. Модель поддерживает генерацию текста, агентное использование инструментов, а также два режима работы: обычный и reasoning mode для решения более сложных задач. Модель содержит около 1,07 млрд параметров без учёта эмбеддингов, 30 слоёв и использует Grouped-Query Attention с 32 attention heads и 8 KV heads. Размер словаря составляет 102 400 токенов, контекст — до 65 536 токенов. Поддерживаются английский, корейский и испанский языки. Архитектурные особенности серии включают QK-Reorder-Norm; гибридная attention-схема с локальным и глобальным вниманием указана для 32B-версии, поэтому её применение к данной 1.2B-модели не подтверждено. Сильные стороны модели — небольшой размер, возможность локального и периферийного развертывания, многоязычность, поддержка reasoning mode и вызова инструментов. Ограничения включают существенно меньший размер по сравнению с 32B-версией, что может снижать качество на сложных задачах; конкретные показатели производительности и требования к ресурсам в README не приведены. Модель распространяется по лицензии EXAONE, обозначенной как other; подробные условия находятся в файле LICENSE.
Experiment28T3q_YamExperiment24 — объединённая модель MaziyarPanahi на архитектуре Mistral для генерации текста. Она создана слиянием automerger/Experiment28T3q-7B и automerger/YamExperiment24-7B; размер составляет 7,1 млрд параметров, веса опубликованы в формате safetensors. Модель принимает текст и рассчитана на контекст до 32 768 токенов. Её можно использовать для генерации продолжений и ответов на текстовые запросы. README не описывает специализированные сценарии или языки, поэтому назначение следует считать общим. Модель распространяется по лицензии Apache-2.0.