II.2Создание и понимание программного кода

lmstudio-community/Qwen3-4B-Instruct-2507-MLX-5bit — это 5-битно квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью Qwen3-4B-Instruct-2507. Ключевые характеристики: архитектура и возможности базовой модели Qwen3-4B-Instruct-2507, около 4 миллиардов параметров, текстовая модальность и 5-битное представление MLX. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Основные преимущества модели — уменьшенный объём памяти и оптимизация для локального запуска на Apple Silicon при сохранении совместимости с экосистемой MLX. Ограничения связаны с квантованием и характеристиками базовой 4B-модели; точное влияние на качество, производительность и перечень поддерживаемых сценариев в README не описано. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного поведения отказа. Это плотная языковая модель на 27 млрд параметров с vision encoder. Архитектура включает 64 слоя, размер скрытого состояния 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются английский, китайский и другие языки; заявлены текстовая, визуальная и видеомодальности. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Для обработки изображений и видео требуется отдельный vision projector в формате BF16. Модель сохраняет встроенный механизм NextN/MTP исходной Qwen3.8 и дополнительно поставляется с профилем ускорения HauhauCS FastMTP 32K, совместимым с различными текстовыми квантованиями. Доступны варианты от Q2 до Q8, включая специализированные K_P-кванты, оптимизированные для сохранения качества при уменьшенном размере. Ограничения включают значительные требования к памяти, зависимость визуального ввода от отдельного проектора и потенциальные риски некорректных или небезопасных ответов из-за uncensored-профиля; для критически важных длинноконтекстных агентских задач README рекомендует более сбалансированный вариант, если он доступен.

Atomic-Germ/Qwen3.8-9B-Distill-GGUF — это набор квантованных версий языковой модели Qwen3.8-9B, разработанной компанией Empero. Модель представляет собой полнопараметрическую дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B и предназначена для генерации текста и решения задач рассуждения. Доступны форматы GGUF для llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых сред. Заявлен английский язык. Модель использует гибридную архитектуру Qwen3.5-класса: на каждые слои полной attention приходятся три слоя Gated DeltaNet. Указан размер 9B параметров; контекстное окно в README не сообщается. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и BF16 размером примерно от 5,780 до 18,407 GB. В качестве сильных сторон заявлены улучшенные результаты на MMLU по сравнению с базовой Qwen3.5-9B и поддержка локального запуска на видеокартах с 8–16 GB памяти в зависимости от квантования. Ограничением является необходимость свежей сборки llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet; при длинном контексте дополнительные ресурсы потребляет KV-кэш. Модель генерирует рассуждения в блоках <think>, которые при необходимости следует скрывать от конечных пользователей. Веса распространяются по лицензии Apache-2.0, унаследованной от базовой модели Qwen.

ashuaria/Qwen3.8-Flash-Next-GGUF-FineTuning — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen и опубликованной для запуска через llama.cpp или Unsloth Desktop. Модель предназначена для задач обработки текста и изображений, включая мультимодальные приложения и агентские сценарии с длинным контекстом. Это авторегрессионная языковая модель с vision encoder, построенная на гибридной архитектуре Qwen3.8-Flash-Next. Она использует Gated DeltaNet и Qwen Sparse Attention, Gated Residual, n-gram embedding и Mixture of Experts. Заявлено 125 млрд параметров, из которых активируется 6 млрд, дополнительно используются 51 млрд параметров n-gram embedding и 4 млрд для MTP. Модель содержит 48 слоёв, 512 экспертов с 10 маршрутизируемыми и одним общим активируемым экспертом, а её нативный контекст составляет 262 144 токена с возможностью расширения до 1 млн токенов. Сильными сторонами являются высокая эффективность активации параметров, поддержка длинного контекста, разреженное внимание на уровне блоков и сочетание текстовой и визуальной обработки. README не указывает точный список поддерживаемых языков, конкретные значения квантования GGUF, системные требования или результаты бенчмарков. Модель распространяется по лицензии qwen-community-1.0; указано, что это экспериментальный preview архитектуры, которая должна лечь в основу Qwen4, поэтому совместимость и стабильность следует проверять в целевом окружении.

SOLAR-13B-Instruct-v1.0 — разговорная языковая модель на базе архитектуры Llama, созданная Vicgalle с помощью mergekit. Это вариант SOLAR-10.7B-Instruct-v1.0, расширенный до 13 млрд параметров методом passthrough: в итоговую модель включены диапазоны слоёв исходной модели. Репозиторий содержит веса Safetensors; нативный контекст — 4096 токенов. Модель предназначена для диалогов, выполнения инструкций и генерации текстовых ответов. Автор указывает, что 4-битная квантизация помещается в 12 ГБ видеопамяти; приведены результаты нескольких бенчмарков, но полная оценка качества ещё не опубликована. Модель поддерживает чатовый сценарий и унаследована от англоязычной инструкционной модели Upstage. Распространяется по лицензии Apache-2.0.

Карточка модели PS4Research/9DgDaWTmX85XRwSq на Hugging Face совпадает с карточкой PS4Research/IKn8jwlNamPNIS15, поэтому описание составлено по ней. Модель PS4Research/IKn8jwlNamPNIS15 — дообученная PS4Research языковая модель семейства Granite на базе ibm-granite/granite-4.2-30b. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс также поддерживает вызов инструментов. Модель содержит 28,9 млрд параметров, использует плотную архитектуру GraniteForCausalLM и принимает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Базовая модель IBM описана как многоязычная и предназначенная для рассуждений, диалога, программирования и вызова инструментов, однако README не уточняет, какие именно навыки были предметом дообучения этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0; для ускорения обучения использовались Unsloth и библиотека TRL.

BreezePipe-7B-merge — объединённая языковая модель, собранная автором Heng666 из MediaTek-Research/Breeze-7B-Instruct-v0.1 и Azure99/blossom-v4-mistral-7b с помощью LazyMergekit. В конфигурации используется метод passthrough: слои 0–31 взяты из Breeze, а слои 24–31 — из blossom-v4-mistral-7b. Модель основана на архитектуре Mistral и содержит 8,9 млрд параметров. Она предназначена для генерации текста; контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

NVIDIA DeepSeek-R1-NVFP4-v2 — FP4-квантованная версия языковой модели DeepSeek R1, подготовленная NVIDIA с помощью TensorRT Model Optimizer. В карточке указано, что модель разработана не NVIDIA, а создана по требованиям третьей стороны. Архитектура основана на трансформере DeepSeek V3; модель содержит 37,6 млрд параметров и рассчитана на контекст до 163 840 токенов. Модель принимает текст и генерирует текст, поэтому подходит для диалогов, ответов на вопросы и пошагового решения задач. По сравнению с nvidia/DeepSeek-R1-FP4 в этой версии дополнительно квантован модуль wo в слоях внимания. Квантование весов и активаций линейных операторов снижает требования к диску и видеопамяти примерно в 1,6 раза. Для инференса карточка указывает TensorRT-LLM и совместимость с архитектурой NVIDIA Blackwell; пример развертывания требует 8 GPU B200. Модель распространяется по лицензии MIT и заявлена для коммерческого и некоммерческого использования. Она может выдавать неточные, нерелевантные или избыточные ответы и воспроизводить токсичность и социальные предубеждения из обучающих данных.

DeepSeek-V2-Lite — языковая модель компании DeepSeek для генерации текста и диалогового общения. Она предназначена для дополнения текста, ответов в чате и локального развертывания; в README также описаны базовая и дообученная для чата версии семейства. Модель поддерживает английский и китайский языки, а метаданные указывают на контекстное окно до 163 840 токенов. Архитектура DeepSeek-V2-Lite сочетает разреженную Mixture-of-Experts (MoE) с Multi-head Latent Attention (MLA), которая сжимает KV-кэш для более эффективного вывода. README приводит 16 млрд общих параметров и 2,4 млрд активных параметров на токен; метаданные каталога указывают 2,5 млрд параметров. В README указано, что для инференса BF16 требуется GPU с 40 ГБ памяти. Модель подходит для локальных чат-сервисов и генерации текста. Заявленная в README лицензия не уточнена; метаданные Hugging Face обозначают её как other, поэтому конкретные условия использования следует проверять в файлах лицензии репозитория.

Experiment28T3q_Experiment27Yam — объединённая модель семейства Mistral, созданная на основе automerger/Experiment28T3q-7B и automerger/Experiment27Yam-7B. Она содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и представлена в формате safetensors. Модель предназначена для генерации текста и может применяться в диалоговых и других сценариях, где требуется продолжать текст по входному запросу. Контекстное окно составляет 32 768 токенов. Репозиторий распространяется по лицензии Apache 2.0.

Experiment28T3q_Neuralsirkrishnaexperiment26Experiment24 — объединённая модель семейства Mistral от MaziyarPanahi, созданная на основе automerger/Experiment28T3q-7B и automerger/Neuralsirkrishnaexperiment26Experiment24-7B. Она предназначена для генерации текста и может использоваться для диалогов и ответов на текстовые запросы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.

Gemma-3-4b-it-MAX-NEO-Imatrix-GGUF — GGUF-квантизированная версия инструкционной модели Google Gemma 3 4B, опубликованная DavidAU. Модель предназначена для генерации текста, диалогов, выполнения пользовательских инструкций, творческого письма и других общих сценариев использования языковых моделей. Заявлен контекст до 128 000 токенов. Ключевая особенность версии — сочетание квантизации с сохранением embedding- и output-тензоров в формате BF16 («MAXED») и специализированного imatrix-набора «NEO IMATRIX», разработанного DavidAU. По заявлению автора, это должно улучшать следование инструкциям, качество ответов и связность идей по сравнению с обычными квантами. Доступны варианты от IQ1_S до Q8_0; для творческих задач рекомендуются IQ3S, IQ4XS, IQ4NL и Q4, для общего использования — Q5, Q6 и Q8, а для портативных устройств — Q4_0 и Q5_0. Разные варианты квантов могут заметно различаться по качеству и характеру вывода. Модель ориентирована на локальный запуск и позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. README приводит пример производительности около 56 токенов в секунду для IQ4XS на видеокарте среднего уровня, но фактические показатели зависят от оборудования и настроек. Ограничения включают снижение качества у наиболее компактных квантов, различия в результатах между Q- и IQ-вариантами, а также необходимость подбора параметров генерации. Лицензия — Apache 2.0.

unsloth/gemma-3n-E4B-it-unsloth-bnb-4bit — это 4-битная версия Gemma 3n E4B-it, разработанная Unsloth на базе модели Google gemma-3n-E4B-it. Модель предназначена для диалоговых и текстовых задач, включая генерацию ответов и использование в приложениях на базе Transformers. В карточке указана поддержка английского языка и формат image-text-to-text, однако текущие рекомендации README подтверждают поддержку только текста. Модель относится к семейству Gemma 3n и имеет размер 4B; используется 4-битное квантование bnb, рассчитанное на снижение требований к памяти. Максимальная длина контекста составляет 32K токенов. Для запуска рекомендуется Transformers или совместимые инструменты, а для Gemma 3n указаны параметры temperature 1.0, top_k 64 и top_p 0.95. Unsloth заявляет ускорение до 2 раз и снижение использования памяти до 80% для сценариев тонкой настройки, но конкретные результаты зависят от оборудования и конфигурации. Основные ограничения — отсутствие заявленной поддержки изображений в текущей версии, ограниченная информация о точной архитектуре и отсутствие подробных результатов оценки качества в README. Модель распространяется по лицензии Gemma; перед использованием необходимо учитывать условия этой лицензии.

LargitData/gemma-4-26b-a4b-it-fp8 — производственный офлайн-чекпойнт в формате FP8 Dynamic, созданный Largitdata Inc. на основе Google Gemma 4 26B-A4B-it. Модель предназначена для локального и серверного инференса через vLLM, включая развёртывание OpenAI-совместимого API и сценарии с несколькими одновременно обслуживаемыми пользователями. Заявленная поддержка языков — английский и китайский; тип задачи — генерация текста. Модель использует архитектуру mixture-of-experts (MoE), а её базовый размер обозначен как 26B-A4B. Максимальная длина контекста в приведённых тестах составляла 32 768 токенов. Ключевая особенность — динамическое FP8-квантование без предварительной калибровки и без квантования весов MoE-роутеров и 1D-тензоров нормализации, что обеспечивает совместимость с путём загрузки Gemma 4 в vLLM. На NVIDIA H200 NVL чекпойнт занимал 25,75 GiB памяти против 48,5 GiB у BF16-версии, обеспечивал на 80% больший размер KV-кэша и почти 39-кратную максимальную параллельность для запросов длиной 32K токенов. В тесте MMLU-Pro точность составила 81,33% против 81,59% у BF16-базовой модели. Ограничения включают примерно на 6% большую задержку одиночного запроса по сравнению с BF16, отсутствие результатов по MT-Bench и другим бенчмаркам, а также ограниченную проверку оборудования: тестирование проводилось только на NVIDIA H200 NVL. Поведение на других GPU и влияние исключения роутеров из квантования требуют дополнительной оценки. Артефакт не является официальным релизом Google; применяются условия лицензии Gemma, указанной для базовой модели.

bartowski/granite-3.1-8b-instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Granite 3.1 8B Instruct, разработанной IBM и опубликованной как ibm-granite/granite-3.1-8b-instruct. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и LM Studio. README не содержит подробностей о конкретной архитектуре, языках и размере контекстного окна. Доступны варианты от F16 до Q2_K, с размерами файлов примерно от 3,15 до 16,34 ГБ. Квантизации созданы с помощью llama.cpp и метода imatrix; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5, Q6 и другие сбалансированные версии. Более компактные варианты подходят для устройств с ограниченной оперативной памятью, но обеспечивают более низкое качество. Модель использует специальный chat template, исправленный в этой версии. Распространение указано по лицензии Apache-2.0. Ограничения включают компромисс между размером, требованиями к памяти и качеством, зависящий от выбранного типа квантизации. README также не приводит результатов тестирования, точных сведений о поддерживаемых языках и ограничений безопасности.

granite-4.2-8b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon и предназначена для локальной генерации текста. Модель поддерживает задачи text generation, включая сценарии рассуждений, работы с инструментами и tool-calling, что отражено в заявленных тегах. Она обучена для работы с английским, немецким, испанским, французским, японским, португальским, арабским, чешским, итальянским, корейским, нидерландским и китайским языками. Архитектура и размер исходной модели обозначены как granite-4.2-8b; сведения о длине контекста и точной архитектуре в README не приведены. Ключевое преимущество варианта — сниженное потребление памяти по сравнению с полной точностью и оптимизация под Apple Silicon, что делает его подходящим для локального использования. Ограничениями являются возможная потеря качества из-за 4-битного квантования, зависимость производительности от оборудования и отсутствие в README подробных данных о качестве, бенчмарках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

ING Triomphant M2 SLERP — языковая модель, созданная MatthieuJ путём слияния arcee-ai/Clown-DPO-Extended и MatthieuJ/ING_Triomphant_M1_SLERP методом SLERP с помощью mergekit. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Контекстное окно составляет до 32 768 токенов; веса представлены в формате safetensors с типом данных bfloat16. Модель подходит для ведения диалогов, генерации ответов и продолжения текста. В README приведена конфигурация слияния, в которой для слоёв внимания и MLP заданы разные коэффициенты смешивания исходных моделей. Модель распространяется по лицензии Apache 2.0.

Kepler-8B-Instruct-v2 — разговорная языковая модель intellectlabs, представленная в репозитории в формате GGUF для запуска через llama.cpp и совместимые приложения. Согласно карточке, исходная модель получена слиянием Qwen/Qwen2.5-7B-Instruct (85%) и DeepSeek-R1-Distill-Qwen-7B (15%); доступны варианты квантования от Q2_K до F16. Модель содержит около 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель предназначена для диалога и следования инструкциям: её можно применять для ответов на вопросы, объяснений и других текстовых задач в чат-интерфейсах, включая LM Studio, Ollama и llama.cpp. Карточка заявляет поддержку ChatML и ответы на разных языках, а метаданные указывают английский. Лицензия — Apache 2.0. Это слияние моделей, а опубликованные GGUF-файлы включают квантованные варианты. README сообщает, что модель не оценивалась на стандартных бенчмарках; сжатие до низкой разрядности снижает качество и повышает нестабильность ответов. Как и другие языковые модели, она может выдавать неточные сведения и унаследовать особенности или смещения исходных моделей.

Карточка модели prompt-agnostic-language-models/Llama-1B_ties_all на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B, поэтому описание составлено по ней. Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Narkantak/Mistral-2x7b-Instruct-1x2 — объединённая диалоговая языковая модель на архитектуре Mistral, созданная методом TIES из mistralai/Mistral-7B-Instruct-v0.1 и mistralai/Mistral-7B-Instruct-v0.2. Несмотря на название, в метаданных указано 7,1 млрд параметров. Модель предназначена для генерации текста в ответ на запросы и инструкции, в том числе для диалога; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Карточка указывает на объединение двух instruct-моделей, но не сообщает о специальных областях применения или поддерживаемых естественных языках. Репозиторий содержит веса в формате safetensors. Условия лицензии в предоставленных данных не указаны.

Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.

Mistral-7B-Instruct-demi-merge-v0.3-7B — объединённая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit методом SLERP из mistralai/Mistral-7B-v0.3 и mistralai/Mistral-7B-Instruct-v0.3. Модель сочетает базовую и инструктивную версии и предназначена для дальнейшего дообучения или объединения, а также для генерации текста и диалогов. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; указана лицензия Apache-2.0. В метаданных и README не приведены отдельные сведения о языковом охвате и ограничениях качества.

Maziyar Panahi выпустил эту диалоговую модель как слияние методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и Sacralet/mistral-7B. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и предназначена для генерации текста в диалоге и выполнения инструкций; карточка указывает поддержку chat и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0. В карточке не описаны отдельная специализация по языкам, области применения или результаты оценки качества.

mLateOn — многоязычная модель поиска LightOn на архитектуре ColBERT с поздним взаимодействием и многовекторными представлениями. Она построена на mmBERT-base, содержит около 307 млн параметров и обучена с помощью PyLate; для запросов и документов поддерживает контекст до 8 192 токенов, формирует векторы размерности 128 и оценивает совпадение методом MaxSim. Модель предназначена для семантического поиска по многоязычным коллекциям, длинным документам и коду. Обучение проводилось на английском, французском, немецком, итальянском, испанском, португальском, шведском, норвежском и арабском языках. По данным карточки, модель также переносит качество на языки и письменности, не включённые в обучение поиска, например кириллицу и японский. Модель может быть полезна для поиска по документам и кода, когда инфраструктура поддерживает многовекторное хранение и позднее взаимодействие. В карточке приведены высокие результаты на бенчмарках BEIR, MIRACL, MLDR и MTEB Code. Для использования доступны веса Safetensors и ONNX. Лицензия — Apache 2.0.

Карточка модели unsloth/ModernBERT-base на Hugging Face совпадает с карточкой answerdotai/ModernBERT-base, поэтому описание составлено по ней. ModernBERT-base — двунаправленная encoder-only модель семейства Transformer в стиле BERT, разработанная в сотрудничестве Answer.AI, LightOn и их коллег. Она предварительно обучена на 2 триллионах токенов английских текстов и кода и предназначена для заполнения пропусков в тексте, а также как основа для прикладных задач понимания языка и поиска. Модель содержит 22 слоя и 149 млн параметров, поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, unpadding и Flash Attention для эффективной обработки длинных последовательностей. Она подходит для анализа длинных документов, классификации, семантического и кодового поиска после настройки под соответствующую задачу. Обучающие данные преимущественно англоязычные и включают код, поэтому качество для других языков может быть ниже. Обработка полного окна контекста может быть медленнее, чем коротких последовательностей; возможны смещения из обучающих данных. Лицензия — Apache-2.0.

Muse-Glimmer-30B-M — это средняя по степени сжатия 4-битная квантованная версия языковой модели Muse-Glimmer-30B, подготовленная Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования LLM, включая агентские задачи, диалоги, обучение с учителем и работу с длинным контекстом. Подробные сведения об исходной архитектуре, размере контекстного окна и поддерживаемых языках в данной карточке не указаны. Квантование выполнено методом асимметричного целочисленного представления с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные случайные преобразования Адамара; также использованы посттренировочное квантование и дистилляция с учётом квантования. По внутренним оценкам KL эта версия сопоставима с Unsloth UD-Q4_K_XL GGUF. Основные ограничения — поддержка инференса только на Apple silicon и зависимость характеристик, возможностей и ограничений от исходной модели Muse-Glimmer-30B. Лицензия — Apache-2.0.

Noromaid-7b-v0.1.1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и NeverSleep/Noromaid-7b-v0.1.1 методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции в формате диалога; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по запросу. Веса доступны в формате Safetensors. Лицензия — Apache-2.0.

Nous-Hermes-2-DPO_into_Nous_Hermes-2-Pro — слитая модель, созданная с помощью LazyMergekit на основе NousResearch/Nous-Hermes-2-Mistral-7B-DPO и NousResearch/Hermes-2-Pro-Mistral-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и диалогов; контекстное окно составляет 32 768 токенов. Модель поддерживает чат-сценарии и использует формат весов safetensors. Слияние выполнено методом SLERP с настройками, заданными по слоям и компонентам внимания и MLP; в README указан тип данных bfloat16. Метаданные не содержат сведений о лицензии и конкретном наборе поддерживаемых языков, поэтому их нельзя надёжно указать.

Octen-Embedding-0.6B DirectML ONNX — конвертированное представление модели Octen/Octen-Embedding-0.6B, подготовленное для запуска через ONNX Runtime с DirectML на GPU в Windows. Граф ONNX исправлен для обработки форм тензоров внимания GQA с фиксированными размерами голов: 16 для Q и 8 для K и V. Репозиторий содержит веса FP16, токенизатор Qwen2 и конфигурацию с контекстом до 32 768 токенов. Модель предназначена для получения эмбеддингов и задач поиска по сходству предложений. В README приведены результаты на наборах esp32 и autosar; автор сообщает, что исправление графа сохраняет качество исходного CPU FP16 варианта. Распространяется по лицензии Apache-2.0.

OpenBuddy Mistral 7B v13.1 — это языковая модель для генерации текста и диалогового взаимодействия, разработанная командой OpenBuddy на базе архитектуры Mistral. Данный репозиторий подготовлен TheBloke и содержит квантизированные версии модели в формате GGUF, предназначенные для запуска через llama.cpp и совместимые приложения и библиотеки, включая LM Studio, KoboldCpp, text-generation-webui и llama-cpp-python. Модель имеет около 7 миллиардов параметров и ориентирована на задачи ассистирования, ответов на вопросы, рассуждений и многоязычного общения. В метаданных заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Доступны варианты квантизации от 2 до 8 бит для инференса на CPU и GPU, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Информация о размере контекстного окна и мультимодальных возможностях не указана; модель предназначена для работы с текстом. К сильным сторонам относятся относительно компактный размер, широкий выбор уровней квантизации и возможность локального запуска на разнообразном оборудовании. Ограничения включают потенциальное снижение качества в квантизированных вариантах, отсутствие заявленных мультимодальных возможностей и неизвестный размер контекста. Модель распространяется по лицензии Apache 2.0.