II.2Создание и понимание программного кода

InternLM3-8B-Instruct GGUF — квантизированная версия инструкционной языковой модели InternLM3-8B-Instruct, представленная в формате GGUF для запуска через llama.cpp. В предоставленных данных разработчик явно не указан. Модель предназначена для генерации текста и диалогового взаимодействия, включая решение математических задач, рассуждения и развёрнутые ответы в локальных или облачных средах на различном аппаратном обеспечении. Модель имеет размер 8 млрд параметров и относится к текстовым LLM; сведения о конкретной архитектуре и длине контекста не приведены. Репозиторий содержит варианты с разной точностью и уровнем квантизации, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса. В метаданных указан английский язык. Для работы требуется совместимый runtime, например llama.cpp, а доступные параметры запуска позволяют настраивать размер контекста, число GPU-слоёв и длину генерируемого ответа. Сильными сторонами модели являются возможность локального запуска, поддержка широкого спектра аппаратных платформ и наличие нескольких вариантов квантизации. Ограничения включают зависимость качества и скорости от выбранной точности и оборудования, а также отсутствие в предоставленных материалах подробных результатов тестирования, перечня поддерживаемых языков и характеристик безопасности. Модель распространяется по лицензии Apache-2.0.

Jina Embeddings v2 Base Code Q8_0 GGUF — это квантизированная версия модели для создания векторных представлений текста и исходного кода. Исходную модель разработала команда Jina AI, а данный вариант был конвертирован из jinaai/jina-embeddings-v2-base-code в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для задач семантического поиска, сравнения сходства предложений, извлечения признаков и работы с кодом, включая сценарии, совместимые с llama.cpp. В карточке указано, что модель ориентирована на английский язык; точные сведения об архитектуре, количестве параметров, размерности эмбеддингов, поддерживаемой длине контекста и наборе модальностей не приведены. Квантование Q8_0 позволяет использовать модель в компактном формате, однако характеристики качества и влияние квантования в README не описаны. Для запуска требуется llama.cpp; доступен режим CLI и серверный режим. Лицензия — Apache-2.0.

ceia-aisdk/llm-large-v1 — распространяемый в формате GGUF артефакт для псевдонима llm/large@1 в CEIA AI SDK. Это квантованная версия инструкционной языковой модели Qwen2.5-14B-Instruct с 14,7 млрд параметров; веса не обучались CEIA. Модель предназначена для диалогов и генерации текста по инструкциям. Репозиторий содержит файл model.gguf в квантизации Q4_K_M от bartowski. Модель принимает текст и выдаёт текст; метаданные отмечают поддержку чата. Лицензия — Apache-2.0, такая же, как у базовой модели.

Это квантизированная версия Meta-Llama-3.1-70B-Instruct в формате GGUF, подготовленная пользователем MaziyarPanahi на основе исходной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta (meta-llama). Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые приложения и библиотеки. Модель относится к семейству Llama 3.1 и имеет размер 70B; в README указаны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Поддерживаются текстовые входы и выходы, а заявленные языки включают английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF совместим с llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другими инструментами локального инференса. Ключевые преимущества — выбор уровней квантования, возможность локального использования и поддержка GPU в ряде совместимых инструментов. Ограничения и требования к лицензии, точный размер контекста, архитектурные детали, качество на отдельных задачах и необходимые аппаратные ресурсы в README не указаны. Условия лицензирования также не приведены, поэтому их следует уточнить в материалах исходной модели Meta-Llama-3.1-70B-Instruct.

Это объединённая диалоговая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и OpenPipe/mistral-ft-optimized-1227 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в диалоговом формате; контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других текстовых задач общего назначения. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Это квантованная сборка модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16, подготовленная FreedomAISVR в формате GGUF. Она предназначена для генерации текста и диалогов, включая задачи рассуждения. Архитектура сочетает Mamba2 и Transformer и использует MoE: из 128 экспертов для каждого токена выбираются шесть. Всего в модели около 30 млрд параметров, из которых активно около 3 млрд; контекст — до 262 тыс. токенов. Веса экспертов хранятся в MXFP4, плотные веса — в Q8_0, а тензоры Mamba2 — в F16 для совместимости с CUDA-ядрами SSM. В репозитории также есть F16-проектор SigLIP для обработки изображений. Для полноценного запуска требуется среда с поддержкой GGUF и мультимодального проектора, например llama.cpp. Гибридный формат экономит память, однако операции Mamba2 на CUDA могут переходить на CPU, что снижает скорость. README не уточняет лицензию производной сборки; метаданные указывают лицензию «other», поэтому условия следует сверить с карточкой модели и условиями базовой модели.

Карточка модели neongeckocom/NeonLLM-Base на Hugging Face совпадает с карточкой NousResearch/Hermes-2-Pro-Mistral-7B, поэтому описание составлено по ней. Hermes 2 Pro на Mistral 7B — диалоговая языковая модель, разработанная Nous Research совместно с Interstellarninja и Fireworks.AI. Это дообученная плотная модель Mistral с 7,1 млрд параметров; она использует формат ChatML и контекст до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций, а также для вызова функций и формирования структурированных ответов в JSON. Авторы сообщают о точности 90% в собственной оценке вызова функций и 84% в оценке JSON-вывода. Она подходит для ассистентов, которым нужно передавать вызовы инструментам и возвращать ответы по заданной схеме. Модель принимает текст и генерирует текст, включая представления вызовов инструментов и JSON. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Результаты оценок приведены авторами модели; качество ответов и корректность вызовов инструментов следует проверять в целевом приложении.

neural-chat-11b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi слиянием моделей mistralai/Mistral-7B-Instruct-v0.2 и NurtureAI/neural-chat-11b-v3-2 методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в формате чата; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Её можно использовать для диалога с пользователем, ответов на инструкции и генерации текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

ProCreations_grug-27b-v1.1-GGUF — это квантизированная версия модели grug-27b-v1.1, разработанной ProCreations и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит 27 миллиардов параметров и предназначена для задач рассуждения, агентских сценариев, использования инструментов и эффективной генерации текста. Модель поддерживает английский язык и текстовый ввод, а также обработку изображений при использовании дополнительного файла mmproj. Она выпускается в нескольких вариантах квантизации от BF16 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Рекомендуемым универсальным вариантом указан Q4_K_M размером 17,53 ГБ, а версии Q5 и Q6 обеспечивают более высокое качество при больших требованиях к ресурсам. К сильным сторонам относятся крупный размер, поддержка мультимодального ввода, режимы, ориентированные на рассуждение и tool use, а также наличие imatrix-квантизаций для более эффективного хранения. Архитектура, размер контекстного окна и подробные показатели качества в README не указаны; perplexity и KLD не измерялись. Спекулятивное декодирование не поддерживается. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-NVFP4 — это квантованная версия мультимодальной vision-language модели Qwen3.5-9B, опубликованная sanskar003 на базе модели команды Qwen из Alibaba Group. Она принимает изображения, текст и видео в чередующемся формате и генерирует текст, включая режим рассуждений, включённый по умолчанию. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Gated DeltaNet и sparse MoE с vision encoder. Базовая модель поддерживает 201 язык и диалект, а её нативная длина контекста составляет 262 144 токена с возможностью расширения посредством RoPE scaling. Квантование выполнено в формате NVFP4 с использованием compressed-tensors: линейные слои языковой модели переведены в 4-битный формат, тогда как vision tower, router gates и lm_head сохранены в более высокой точности. Основное преимущество версии NVFP4 — снижение требований к вычислениям и потенциально высокая производительность на GPU NVIDIA Blackwell с FP4 tensor cores, например RTX 5090 с архитектурой sm_120, при сохранении возможностей работы с изображениями. Для запуска рекомендуется современная версия vLLM с поддержкой архитектуры Qwen3_5ForConditionalGeneration. Ограничение модели заключается в том, что ожидаемая производительность NVFP4 ориентирована на совместимое оборудование NVIDIA Blackwell; характеристики качества и подробные результаты тестирования в карточке этой версии не приведены. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой Qwen3.5-9B.

Qwen3.8-27B-Omnimerge-v6-MTP-GGUF — квантизированная GGUF-версия модели, опубликованная автором ManniX-ITA. Она создана на основе ManniX-ITA/Qwen3.8-27B-Omnimerge-v6, представляющей собой объединение методом task arithmetic трёх дообученных моделей Qwen3.6 на базе Qwen3.8-27B. В метаданных указана архитектура Qwen3.5, размер модели — около 27,78 млрд параметров, основной заявленный язык — английский. Модель предназначена для текстовой генерации, рассуждений и мультимодальных сценариев с обработкой изображений. В комплекте сохранена MTP-голова для self-speculative decoding, а также опубликован F16 vision projector; это позволяет использовать модель с изображениями через llama.cpp. Доступны 19 вариантов квантизации от F16 и Q8_0 до Q2_K и IQ2_S, что даёт возможность выбирать между качеством, скоростью и требованиями к памяти. Для MTP требуется сборка llama.cpp с поддержкой соответствующего механизма; в приведённых измерениях вариант Q4_K_M достигал примерно двукратного ускорения генерации при настройке с тремя черновыми токенами. Сильными сторонами являются широкий выбор квантизаций, поддержка изображений, reasoning-возможности, воспроизводимые imatrix-варианты и сохранённая MTP-голова. Ограничения включают зависимость расширенных возможностей от совместимого llama.cpp, значительные требования к памяти для крупных вариантов, а также то, что MTP может приводить к отличиям вывода от обычной генерации при близких значениях вероятностей; эквивалентность качества в README не измерялась. Для длительных рассуждений рекомендуется выделять достаточный reasoning budget. Модель распространяется по лицензии Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6 — это общественная MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Конверсия предназначена для запуска на Apple Silicon через совместимые MLX-VLM или oMLX. Модель относится к vision-language системам и поддерживает обработку текста и изображений; в поставку также входят исходные токенизатор, шаблон диалога, обработчик изображений и конфигурация генерации. Модель использует архитектуру qwen4_exp с разреженной смесью экспертов, Gated DeltaNet, Qwen Sparse Attention, расширенными gated residual streams и хешированными bigram/trigram embeddings. Всего заявлено 125 млрд параметров языковой части, из которых активно 6 млрд, а таблицы n-грамм содержат 51 млрд параметров. Архитектура включает 48 слоёв, 512 маршрутизируемых экспертов, 10 активных экспертов и один общий, 24 attention heads и 2 KV heads; размер скрытого состояния — 2560, настроенный контекст — до 262144 токенов. Веса представлены в формате MLX safetensors и занимают около 155,78 ГБ; используется смешанная 6-битная квантизация с отдельными модулями точностью 6/8 бит. Сильными сторонами являются поддержка мультимодальных сценариев, большой контекст, разреженная архитектура и оптимизация для Apple Silicon. На Apple M3 Studio в README указана скорость генерации примерно 19,5–23,1 токена в секунду в зависимости от режима. Ограничения включают очень большой объём весов, необходимость runtime с явной поддержкой qwen4_exp и отсутствие встроенной native MTP head в данной сборке. Приведённые показатели относятся к конкретной конфигурации и могут изменяться в зависимости от длины запроса, настроек генерации, версии runtime и доступной памяти. Это неофициальный релиз Qwen, а конверсия и упаковка Vontra. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

Agents-A1-4B — плотная языковая модель на 4 млрд параметров от InternScience, созданная для автономного выполнения многошаговых задач. Она основана на архитектуре Qwen3.5 и дообучена для агентных сценариев: поиска, инженерной работы, научных исследований, следования инструкциям и вызова инструментов. Модель поддерживает диалог и интерфейс вызова функций; веса доступны в формате safetensors и совместимы с Transformers, vLLM и SGLang. В README заявлена длина контекста до 262 144 токенов при указанной конфигурации SGLang. Модель предназначена для разложения сложных запросов на шаги, планирования, использования внешних инструментов и ответов на научные и профессиональные вопросы. В README приведены высокие результаты на тестах поиска, агентных задач и следования инструкциям, однако это заявления разработчика, и они не гарантируют качество в конкретном приложении. Лицензия Apache-2.0.

Citaman/command-r-27-layer — языковая модель на архитектуре Cohere, созданная с помощью mergekit из двух срезов одной модели Citaman/command-r-28-layer методом SLERP. Репозиторий содержит веса Safetensors в формате bfloat16; размер модели — 24,3 млрд параметров, библиотека для работы — Transformers. Модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Контекстное окно составляет 8192 токена. Модель принимает текст и генерирует текст. В метаданных не перечислены конкретные языки, поэтому языковую специализацию определить нельзя. Условия лицензии в предоставленных данных не указаны. Карточка описывает способ слияния и использованные срезы, но не приводит результаты оценки качества или сравнительные тесты.

Experiment26Yamshadow_Experiment24Inex12 — объединённая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/Experiment24Inex12-7B. Она предназначена для генерации текста и может использоваться в приложениях, которым нужна языковая модель общего назначения. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров. Контекст составляет до 32 768 токенов; веса опубликованы в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0. Карточка не описывает отдельные специализации или подтверждённые языковые предпочтения модели.

GeeVec-Embeddings-1.0-Lite — компактная мультиязычная модель текстовых эмбеддингов от geevec-ai на базе модели в стиле Qwen3 с архитектурой PseudoMoE. В метаданных указано 306,6 млн параметров; README заявляет 0,35 млрд активируемых параметров. Модель предназначена для поиска по смыслу и сопоставления запросов с текстами, поддерживает контекст до 40 960 токенов по метаданным. Модель предлагает маршруты general для общего мультиязычного поиска, coding для поиска по коду и технической документации и reasoning для сложных запросов, требующих глубокого семантического сопоставления. Она преобразует текст в эмбеддинги, которые можно нормализовать и сравнивать для ранжирования релевантности. В примере README используется длина до 4096 токенов. Для загрузки требуется доверять пользовательскому коду репозитория через trust_remote_code=True. Репозиторий использует формат safetensors и распространяется по лицензии Apache-2.0. Заявления README о высоких результатах на бенчмарках не сопровождаются в предоставленном тексте числовыми результатами; качество на конкретных данных следует проверять отдельно.

nohurry/gemma-4-26B-A4B-it-heretic-GUFF — набор квантованных вариантов модели coder3101/gemma-4-26B-A4B-it-heretic, созданный участником сообщества на основе Gemma 4 от Google. Модель предназначена для диалоговых сценариев, генерации текста и работы с изображениями, включая OCR. В README указана поддержка режима рассуждений, который включается специальным маркером в системном промпте, а также возможность ограничивать бюджет рассуждений. Модель имеет архитектуру Gemma 4 с конфигурацией 26B-A4B; точные сведения о размере активируемой части, языках и максимальной длине контекста в README не приведены. Для обработки изображений используются отдельные mmproj-файлы и настраиваемый диапазон от 70 до 1120 image-токенов. Реализация рассчитана на использование в llama.cpp и koboldcpp; для корректной работы требуется включить Sliding Window Attention с параметром --swa-full. Доступны разные уровни квантования, а выбор рекомендуется делать с учётом доступной VRAM. Для задач OCR желательно использовать менее квантованную текстовую модель и более качественно сохранённый image encoder. Сильными сторонами являются мультимодальность, поддержка управляемого рассуждения, различные варианты квантования и возможность локального запуска. Ограничения включают зависимость требований к памяти от выбранного кванта и контекста, чувствительность image encoder к квантованию, а также необходимость совместимого программного обеспечения и настроек SWA. Модель распространяется по лицензии Apache-2.0; ссылка на лицензию Gemma 4 указана в карточке.

Hermes2pro-mistral-saul-instruct-slerp — объединённая разговорная языковая модель, созданная с помощью mergekit методом SLERP из NousResearch/Hermes-2-Pro-Mistral-7B и Equall/Saul-Instruct-v1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст; нативное окно контекста составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна для использования через Transformers. Карточка не уточняет лицензию и языковой охват объединённой модели.

Hermes-3-Llama-3.1-70B-IMat-GGUF — это квантизированная версия текстовой языковой модели NousResearch/Hermes-3-Llama-3.1-70B, подготовленная пользователем legraphista в формате GGUF для запуска через llama.cpp. Исходная модель имеет размер 70B параметров и тип данных BF16, а доступные варианты включают BF16, FP16 и несколько уровней квантования от 1 до 8 бит, в том числе варианты с IMatrix. Модель предназначена для генерации текста, диалоговых сценариев и работы в формате instruct/chat. В описании также заявлены поддержка ChatML, function calling и JSON mode, а среди возможных применений указаны ролевые диалоги и задачи, связанные с синтетическими данными и дистилляцией. Указан английский язык; сведения о других языках и размере контекстного окна отсутствуют. Модель является текстовой и не заявляет поддержку изображений или других дополнительных модальностей. Основное преимущество сборки — возможность выбрать баланс качества, размера файлов и требований к ресурсам за счёт большого набора GGUF-квантов; IMatrix применяется в ряде вариантов с более низкой разрядностью. Ограничения связаны с очень большим размером модели: файлы занимают примерно от 26 до 141 ГБ, а некоторые варианты разделены на несколько частей. Квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно в вариантах с меньшей разрядностью. Лицензия указана как llama3.

Hermes-3-Llama-3.1-70B-lorablated — диалоговая модель mlabonne на архитектуре Llama 3.1, созданная слиянием Hermes-3-Llama-3.1-70B от NousResearch с адаптером abliteration. Модель предназначена для генерации ответов в диалоге и выполнения инструкций; версия lorablated настроена на снижение отказов отвечать на допустимые запросы. В карточке приведены результаты оценивания на IFEval и BBH. Модель содержит 69,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 131 072 токена. Для работы с ней нужны текстовые запросы, ответы генерируются в текстовом виде. Указана библиотека Transformers. Сведений о лицензии в доступных данных нет.

K2-Horizon-MoVA-36B-A4B-GGUF — набор GGUF-квантизаций модели K2-Horizon-MoVA-36B-A4B, разработанной Institute of Foundation Models (IFM) при MBZUAI и выпущенной 3 сентября 2026 года. Модель предназначена для генерации текста, рассуждений и работы с длинным контекстом; заявлена поддержка английского языка. Формат GGUF ориентирован на запуск через llama.cpp и совместимые инструменты. Модель использует архитектуру k2_horizon и сочетает разреженную Mixture-of-Experts (MoE) с механизмом Mixture-of-Values (MoVA), применяющим разреженную маршрутизацию внутри attention. Всего предусмотрено около 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Архитектура включает 48 слоёв, 100 маршрутизируемых экспертов с 8 активными и одним общим экспертом на MoE-слой, а также 64 value-эксперта с 4 активными на attention-слой. Нативное контекстное окно составляет до 524 288 токенов. Доступны варианты от BF16 до низкобитных Q2 и IQ-квантизаций, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. При этом активация только 4 млрд параметров на токен не означает, что модель требует память уровня 4 млрд параметров: все веса объёмом около 10–70 ГиБ должны находиться в RAM или VRAM, а память под KV-кэш и служебные расходы учитывается отдельно. Для загрузки GGUF необходима ветка model/K2Horizon форка llama.cpp от MBZUAI-IFM либо версия upstream после добавления поддержки архитектуры k2_horizon. Лицензия модели — Apache 2.0.

LeoScorpius-7B-Chat-DPO-Mistral-7B-Instruct-v0.1 — чат-модель, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.1 и LeoScorpius-7B-Chat-DPO методом SLERP. Она предназначена для генерации ответов на инструкции и ведения диалогов. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текстовые ответы. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Метаданные не указывают языковую специализацию модели.

Llama-3.1-Tulu-3-405B — большая плотная авторегрессионная языковая модель семейства Llama 3.1, разработанная Allen Institute for AI (Ai2). Она дообучена на основе allenai/Llama-3.1-Tulu-3-405B-DPO и предназначена для следования инструкциям и диалогов, а также для решения широкого круга задач, включая математические рассуждения и выполнение инструкций. В карточке отмечены оценки на MATH, GSM8K и IFEval. Модель содержит 403,7 млрд параметров, принимает текст и генерирует текст; заявленный контекст — до 131 072 токенов. Основной язык — английский. Для запуска доступны веса PyTorch в формате safetensors через Transformers; лицензия — Llama 3.1 Community License Agreement. В карточке указано, что безопасность дообучения ограничена: модель может выдавать проблемный контент, особенно при соответствующих запросах, и не снабжена встроенной фильтрацией ответов. Для развертывания следует учитывать высокие вычислительные требования, характерные для модели такого размера.

unsloth/llama-3-8b — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta и представленная в репозитории Unsloth. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. В метаданных указан английский язык. Репозиторий содержит веса в формате Safetensors. Модель подходит для генерации продолжений текста и диалоговых сценариев. README Unsloth также предлагает ноутбуки для дообучения Llama 3 8B, включая разговорный формат ShareGPT ChatML/Vicuna и завершение произвольного текста; сам README описывает инструменты и примеры настройки обучения, а не отдельную специализацию чекпойнта. Репозиторий указывает лицензию Llama 3 (llama3); условия использования определяются лицензией Meta Llama 3.

Mistral-7B-claude-instruct-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и Norquinal/Mistral-7B-claude-instruct методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции в формате чата; заявленная длина контекста — до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на вопросы и генерации текста по запросу. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

Neural-Chat-v3-1 — языковая модель Intel на архитектуре Mistral, дообученная на базе mistralai/Mistral-7B-v0.1 на наборе Open-Orca/SlimOrca. Для выравнивания ответов применялся метод Direct Preference Optimization (DPO) с парами предпочтений Intel/orca_dpo_pairs. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и диалоговых сценариев; в метаданных указан контекст до 32 768 токенов, тогда как README приводит значение 8 192 токена. Модель подходит для ответов на запросы, ведения диалога и других языковых задач, а также для последующей адаптации под конкретное применение. В опубликованной оценке она показала средний результат 59,06 на наборе бенчмарков, однако качество зависит от формулировки запроса. Модель может выдавать фактически неверные, предвзятые, оскорбительные или непристойные ответы, поэтому перед внедрением рекомендуется проверка безопасности и качества. Лицензия — Apache 2.0.

Nous Hermes 2 Mixtral 8x7B SFT — языковая модель Nous Research, полученная supervised fine-tuning базовой Mixtral 8x7B. Она предназначена для диалогов и следования инструкциям, включая многошаговые беседы в формате ChatML. Обучение использовало более миллиона примеров, преимущественно синтетических данных GPT-4 и материалов из открытых наборов данных. Модель построена на архитектуре Mixtral sparse Mixture of Experts; метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Она принимает текст и генерирует текст, поддерживает английский язык. В README приведены результаты на нескольких бенчмарках, однако они не гарантируют качество для конкретного применения. Для запуска требуются значительные вычислительные ресурсы: в README отмечено, что даже 4-битный вариант требует более 24 ГБ VRAM. Модель распространяется по лицензии Apache-2.0.

OpenZephyrChat-Mistral-7B-Instruct-v0.1 — чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и Fredithefish/OpenZephyrChat методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации ответов на инструкции и диалоговые запросы. Модель принимает текст и генерирует текстовые ответы. Заявленная длина контекста — 32 768 токенов. В репозитории представлены веса в формате safetensors; лицензия — Apache-2.0. Карточка указывает английский язык.

filvyb/Qwen3.5-9B-heretic-v2-GGUF — GGUF-квантизация декензурированной версии trohrbaugh/Qwen3.5-9B-heretic-v2, созданной на базе Qwen3.5-9B с использованием Heretic 1.2.0. Модель предназначена для локального запуска и генерации текста с уменьшенной склонностью к отказам; README сообщает о 6 отказах из 100 против 100 из 100 у исходной Qwen3.5-9B. При этом декензурирование изменяет поведение исходной модели: указанная KL-дивергенция составляет 0,0793. Это мультимодальная causal language model с vision encoder, поддерживающая работу с текстом и изображениями. Размер языковой части — около 9 млрд параметров; архитектура сочетает Gated Delta Networks, sparse Mixture-of-Experts и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов; заявлена поддержка 201 языка и диалекта. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о конкретном формате GGUF-квантизации, требуемых ресурсах и подробных ограничениях качества, поэтому фактическая производительность зависит от выбранного файла и среды запуска.

tvall43/Qwen3.6-14B-A3B-vibetuned-GGUF — это квантизированная GGUF-версия модели tvall43/Qwen3.6-14B-A3B-vibetuned, разработанная автором tvall43 на основе pruned-модели Qwen3.6-35B-A3B-heretic. После сокращения до 14 млрд параметров модель была дообучена методом QLoRA на данных для рассуждений Magpie Opus Pro и структурированной логики Hermes Function Calling. Модель предназначена для локальной генерации текста, диалоговых сценариев, рассуждений и вызова функций через llama.cpp и совместимые среды, включая LM Studio, Ollama и text-generation-webui. Она заявлена как мультимодальная и поддерживает работу с изображениями при использовании multimodal projector mmproj. Язык README указан как английский; размер контекста и точный набор поддерживаемых языков не приведены. Доступны варианты F16, Q8_0, Q6_K, Q4_K_M, Q3_K_M, Q2_K и MXFP4 с разными компромиссами между качеством, скоростью и требованиями к памяти. Q4_K_M ориентирован на локальный запуск примерно в 8 ГБ VRAM, Q8_0 требует около 15 ГБ памяти, а MXFP4 зависит от поддержки inference engine. Ограничениями являются возможная потеря качества в более агрессивно квантизированных вариантах и необходимость актуальной версии совместимого inference engine. Лицензия — Apache-2.0.