II.2Создание и понимание программного кода

Диалоговая языковая модель семейства Mistral, разработанная ShenaoZ. Это дообученная версия ShenaoZ/0.0001_withdpo_3iters_bs256_531lr_iter_1, обученная на наборах данных updated и original. Модель предназначена для генерации текста и диалоговых сценариев; карточка не описывает более узкую специализацию. Модель имеет плотную архитектуру MistralForCausalLM, 7,1 млрд параметров и контекстное окно до 32 768 токенов. Весовые файлы опубликованы в формате safetensors. Модель распространяется по лицензии MIT. README не сообщает результаты оценки качества или подробности обучающих данных.

Это GGUF-квантизированная версия текстовой генеративной модели 70B-L3.3-Cirrus-x1, разработанной Sao10K и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp и метода imatrix; доступны варианты от Q8_0 до IQ2_XXS с разным соотношением качества, размера файла и требований к памяти. Модель предназначена для генерации текста и может запускаться локально через llama.cpp или LM Studio. В README приведён специальный формат промпта на основе шаблона Llama 3.3 с ролями system, user и assistant. Версия содержит около 70 миллиардов параметров, однако сведения об архитектуре, поддерживаемых языках, модальностях и максимальной длине контекста не указаны. Сильной стороной являются многочисленные варианты квантизации: Q6_K и Q5_K обозначены как высококачественные, Q4_K_M — как стандартный вариант для большинства сценариев, а более компактные Q3 и Q2 позволяют снизить требования к оперативной памяти ценой заметного ухудшения качества. Файлы могут занимать примерно от 19 до 75 ГБ, поэтому для запуска требуется мощное локальное оборудование; точные требования к аппаратному обеспечению и производительности не приведены. Модель распространяется по лицензии llama3.3.

AI21-Jamba2-3B-GGUF — это набор квантизированных моделей для генерации текста, созданный сообществом bartowski на основе AI21-Jamba2-3B от AI21 Labs. Модели распространяются в формате GGUF и подготовлены с использованием llama.cpp и метода imatrix. Они предназначены для локального запуска и текстовой генерации в совместимых инструментах, включая llama.cpp, LM Studio, koboldcpp, Jan AI и Text Generation Web UI. В набор входят варианты от BF16 до квантизаций Q8, Q6, Q5, Q4, Q3 и IQ3/IQ4 с размером файлов примерно от 1,4 до 6,4 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, тогда как компактные варианты подходят для систем с ограниченной оперативной памятью. Рекомендуемыми указаны многие варианты Q6, Q5 и Q4; Q4_K_M обозначен как типичный выбор для большинства сценариев. Для работы следует использовать указанный формат чата с системным сообщением, запросом пользователя и ответом ассистента. Сильные стороны модели — возможность локального запуска, широкий выбор компромиссов между качеством и потреблением памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают неизбежную потерю качества при низких уровнях квантизации и возможную необходимость обновления программного обеспечения для недавно поддержанных моделей. В README не указаны архитектурные детали, поддерживаемые языки и размер контекстного окна. Указанная лицензия — Apache-2.0.

Aryanne/Astrorocketboros-3B — языковая модель для генерации текста, созданная слиянием моделей ayoubkirouane/StableLM-3B, pansophic/rocket-3B, Aryanne/Astrohermes-3B и jondurbin/airoboros-3b-3p0 методом task arithmetic. По метаданным, это плотная модель архитектуры StableLM Epoch с 2,7 млрд параметров, рассчитанная на контекст до 4096 токенов. Для диалогов автор рекомендует формат промпта ChatML; также может работать формат Alpaca, если перед инструкцией добавить текст. Модель предназначена для диалоговой генерации текста и выполнения инструкций. В репозитории указаны веса Safetensors в формате float16; лицензия — CC BY-SA 4.0. Автор отмечает, что не уверен в корректности всех JSON-файлов, хотя модель, по его словам, работает.

B0-9B-GGUF — это набор квантованных файлов модели schneewolflabs/B0-9B, подготовленный пользователем mradermacher в формате GGUF. Модель связана с экосистемой Qwen3.5 и предназначена для запуска средствами, поддерживающими GGUF, включая локальные сценарии инференса. В обучении или дообучении использовались наборы данных Alembic-DPO, weasel-dpo, grok-politically-incorrect-dpo, seX-ai-dpo, i-DPO, Luna-DPO, MahouMix-v1, egirl-delegation-dpo и egirl-hemlock-dpo; заявленный язык — английский. Доступны варианты квантования от Q2_K до Q8_0, а также f16, размером примерно от 4,0 до 18,5 ГБ. Для мультимодальных сценариев предоставляются дополнительные файлы mmproj-Q8_0 и mmproj-f16, однако конкретные поддерживаемые модальности, архитектура и размер контекста в README не указаны. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как обеспечивающий очень хорошее качество, а Q8_0 — как сочетающий высокое качество и скорость. Модель может быть полезна для локальных англоязычных диалоговых и агентных задач, а также сценариев использования инструментов, на что указывают теги agents и tool-use. Качество и требования к памяти зависят от выбранного уровня квантования; менее компактные варианты обычно требуют больше ресурсов, а более агрессивное квантование может снижать качество. В README отсутствуют результаты бенчмарков и подробное описание ограничений поведения. Лицензия модели — Apache-2.0.

Beast-Soul-new — слитая языковая модель семейства Mistral, созданная с помощью LazyMergekit из udkai/Turdus и flemmingmiguel/MBX-7B. Она использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста по запросу. Её контекстное окно составляет 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. В карточке не описаны целевые предметные области и поддерживаемые естественные языки.

Calme-7B-Instruct-v0.4-GGUF — это набор файлов модели в формате GGUF для инструкционной модели Calme-7B-Instruct-v0.4, разработанной и квантизированной MaziyarPanahi. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций. В метаданных она также отмечена как совместимая с Mistral, однако подробности исходной архитектуры в README не приведены. Модель имеет размер порядка 7 миллиардов параметров и доступна в вариантах квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K. Формат GGUF ориентирован на локальный запуск с помощью llama.cpp и совместимых приложений и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. README не указывает поддерживаемые языки, максимальную длину контекста, конкретные показатели качества или мультимодальные возможности; по имеющимся данным, модель является текстовой. К сильным сторонам относятся широкий выбор уровней квантизации, возможность подобрать баланс между качеством, размером файла и требованиями к памяти, а также поддержка распространённых инструментов локального инференса. К ограничениям относятся потенциальная потеря качества при использовании низкобитных вариантов и отсутствие в README сведений о языковом покрытии, контексте, бенчмарках и рекомендуемых параметрах генерации. Модель распространяется по лицензии Apache-2.0.

CodeMix-JPID-3B-Llama3.2 — объединённая языковая модель, созданная сообществом mergekit на основе нескольких моделей семейства Llama 3.2. Для слияния применён метод TIES; базовой указана pankajmathur/orca_mini_v9_7_3B-Instruct. В объединение также вошли модели с настройками для математики, финансов, диалога и других задач. Модель предназначена для генерации текста и диалоговых сценариев. Она имеет плотную архитектуру LlamaForCausalLM, содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. README и метаданные не сообщают о лицензии, целевых языках и результатах оценки качества. Возможности модели могут различаться по задачам, представленным в исходных моделях; отдельные количественные гарантии качества не приведены.

Devstral-Small-2505-MLX-4bit — это 4-битная квантованная версия модели Devstral-Small-2505, разработанной mistralai. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для запуска на устройствах Apple Silicon через MLX. Модель предназначена для генерации текста; конкретные специализированные сценарии, архитектура, количество параметров, размер контекста и поддерживаемые модальности в README не указаны. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского и ряда других языков. Ключевое преимущество версии — снижение требований к памяти благодаря 4-битному квантованию и оптимизация для Apple Silicon. Ограничения включают отсутствие подробных данных о производительности, архитектуре и качестве ответов, а также возможные неточности, вредный или неподходящий контент, характерные для генерирующих моделей. Модель распространяется по лицензии Apache-2.0.

DiscoPOP-zephyr-7b-gemma-GGUF — это набор GGUF-квантизаций языковой модели DiscoPOP-zephyr-7b-gemma, разработанной SakanaAI и основанной на HuggingFaceH4/zephyr-7b-gemma-sft-v0.1. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через совместимые инструменты llama.cpp. Модель имеет размер 7B параметров; README не указывает поддерживаемые языки, длину контекста или дополнительные модальности. Обучение связано с датасетом argilla/dpo-mix-7k, а для диалогов предусмотрен шаблон с ролями system, user и assistant. Доступны варианты от Q8_0 до Q2_K и IQ-квантизаций размером примерно от 3,84 до 9,81 ГБ: более крупные варианты обычно обеспечивают лучшее качество, а меньшие требуют меньше RAM или VRAM, но сильнее теряют в качестве. Сильные стороны модели — возможность локального запуска, широкий выбор квантизаций и применение imatrix для сохранения качества при уменьшении размера. Ограничения включают неизбежную потерю качества на низких уровнях квантизации, а также отсутствие в README подробных сведений о результатах тестирования, языковых возможностях и длине контекста. Лицензия указана как gemma; конкретные условия её применения следует уточнять в лицензии Gemma.

Experiment26Yamshadow_Strangemerges_32Alloyingotneoy — объединённая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель объединяет automerger/Experiment26Yamshadow-7B и automerger/Strangemerges_32Alloyingotneoy-7B; веса представлены в формате safetensors. Модель подходит для диалогов и генерации текстовых ответов, а также для других сценариев, основанных на продолжении текста. Данных о специализации на конкретных предметных областях и языках нет. Распространяется по лицензии Apache-2.0.

Experiment28M7_Experiment26Yamshadow — объединённая модель для генерации текста, созданная MaziyarPanahi на основе automerger/Experiment28M7-7B и automerger/Experiment26Yamshadow-7B. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Модель предназначена для генерации продолжений текста и диалоговых ответов в сценариях, поддерживаемых исходными моделями. Контекстное окно составляет до 32 768 токенов; веса опубликованы в формате safetensors. Данные не уточняют языковую специализацию или особые прикладные области. Модель распространяется по лицензии Apache-2.0. README описывает объединение двух моделей, но не приводит сравнительных оценок качества или подробных ограничений; поведение и качество могут зависеть от промпта и выбранного способа запуска.

MaziyarPanahi/Experiment28T3q_Experiment28Experiment29 — объединённая модель семейства Mistral с плотной архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и принимает текстовые запросы, выдавая текстовые продолжения. Модель объединяет веса automerger/Experiment28T3q-7B и automerger/Experiment28Experiment29-7B; каталог описывает исходные модели как экспериментальную и дообученную по DPO математическую модель. Модель рассчитана на контекст до 32 768 токенов и опубликована в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает конкретные языки, специализированные сценарии или результаты оценки качества.

MaziyarPanahi/Experiment28T3q_ShadowCalme — объединённая модель для генерации текста, созданная на основе automerger/Experiment28T3q-7B и automerger/ShadowCalme-7B. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель подходит для генерации продолжений и ответов на текстовые запросы. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Подробные сведения о специализации, обучении и сравнительном качестве в карточке модели отсутствуют.

Gemma-4-12B-it-null-space-abliterated-i1-GGUF — это GGUF-квантизация модели jwest33/gemma-4-12B-it-null-space-abliterated, подготовленная пользователем mradermacher. Модель относится к семейству Gemma, имеет около 12 миллиардов параметров и предназначена для запуска в совместимых локальных средах, поддерживающих формат GGUF. Модель позиционируется как instruction-tuned и abliterated/uncensored, поэтому может применяться для диалогов и других текстовых задач с меньшим количеством встроенных ограничений. README также указывает, что это vision-модель с поддержкой изображений через отдельные mmproj-файлы; заявленный язык — английский. Размер контекста в предоставленных данных не указан. Доступно множество вариантов квантизации от IQ1 и Q2 до Q6, с размерами файлов примерно от 3,1 до 7,5 ГБ. Более компактные варианты требуют меньше памяти, но обычно снижают качество; Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как удачный компромисс размера, скорости и качества. Лицензия указана как gemma. README не содержит подробных результатов тестирования, точных архитектурных характеристик или описания ограничений безопасности.

Gemma-4-26B-A4B-it-JANG4M — квантизированная модель семейства Gemma 4, подготовленная Jinho Jang для запуска на Apple Silicon через MLX. В README модель описана как MoE, однако метаданные указывают архитектуру Gemma4ForConditionalGeneration с типом dense; точное число параметров и активных параметров не приведено. Модель предназначена для генерации текста и диалогового использования. README приводит пример загрузки и генерации через mlx_lm и отмечает, что библиотека автоматически использует список стоп-токенов из generation_config.json. Указанная лицензия — gemma. Карточка ориентирует запуск на vMLX.

Gemma-4-31B-it-JANG_4M — квантизированная версия разговорной модели Gemma-4 MoE, подготовленная JANGQ-AI для запуска на компьютерах Apple Silicon с помощью vMLX. Она предназначена для генерации текста в диалоге и других сценариев, где нужна чат-модель. Репозиторий использует библиотеку MLX и содержит веса в формате safetensors. В README описана ошибка ранней версии конфигурации токенизатора: некоторые загрузчики не распознавали маркер конца хода ассистента и могли зацикливать генерацию. В карточке указано, что конфигурация токенизатора исправлена 13 апреля 2026 года; при использовании старой копии репозитория её следует обновить. Лицензия — Gemma; параметры использования определяются её условиями.

Granite-4.2-3B-FP8 — это FP8-квантизированная версия языковой модели Granite-4.2-3B, разработанная IBM и опубликованная в репозитории ibm-granite/granite-4.2-3b-fp8. Модель предназначена для задач обработки естественного языка; конкретные сценарии применения, поддерживаемые языки, архитектура, размер контекста и модальности в представленном README не описаны. Ключевая известная характеристика модели — использование формата FP8, что может быть ориентировано на более эффективное хранение и выполнение по сравнению с полной точностью, однако подробности о требованиях к оборудованию и фактических преимуществах не приведены. Ограничения и результаты тестирования также не указаны. Модель распространяется по лицензии Apache-2.0; за дополнительными сведениями README направляет к карточке исходной модели Granite-4.2-3B.

SzilviaB/Hexoteric-Trismegistus-7B — объединённая языковая модель на архитектуре Mistral, созданная методом SLERP из CalderaAI/Hexoteric-7B и teknium/Hermes-Trismegistus-Mistral-7B с помощью mergekit. Модель содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для ответов на вопросы, написания и продолжения текста, а также для создания чат-ассистентов. README описывает способ объединения, но не приводит сравнительных оценок качества или подробных рекомендаций по применению. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Huihui-gpt-oss-20b-BF16-abliterated-v2 — дообученная Huihui AI разговорная языковая модель семейства gpt_oss с архитектурой MoE. Она предназначена для генерации текста и диалогов; карточка сообщает, что модель обучалась с помощью TRL на инструкциях, сгенерированных базовой моделью. Указанный размер — 1,6 млрд параметров, нативная длина контекста — 131 072 токена. Доступны веса Safetensors и GGUF в BF16; для запуска автор также приводит вариант Ollama. Модель снижает защитную фильтрацию и может отвечать на чувствительные и спорные запросы, поэтому сгенерированный контент требует проверки. Карточка отмечает улучшение обучающих метрик и небольшое расхождение между обучением и оценкой, но также указывает на возможный рост нормы градиента на поздних этапах. Лицензия — Apache-2.0.

Inex12Yamshadowexperiment28-7B — слитая модель, автоматически созданная Maxime Labonne объединением MSL7/INEX12-7b и automerger/YamshadowExperiment28-7B методом SLERP. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM, примерно 7,1 млрд параметров и контекстом до 32 768 токенов. Она предназначена для генерации текста и диалоговых сценариев. Модель распространяется в формате safetensors и имеет лицензию Apache-2.0. README описывает конфигурацию слияния и приводит пример использования через Transformers, но не содержит оценок качества или сведений о поддерживаемых языках.

JetMoE-8B — открытая языковая модель семейства JetMoE, созданная Yikang Shen, Zhen Guo, Tianle Cai и Zengyi Qin. Она предназначена для генерации текста и может служить базой для дообучения и исследовательских экспериментов. Авторы сообщают, что модель обучена на 1,25 трлн токенов из общедоступных наборов данных. Архитектура состоит из 24 блоков, в каждом из которых есть слой смеси голов внимания (MoA) и слой смеси экспертов MLP (MoE). В каждом слое восемь экспертов, из которых для токена активируются два. README указывает 8 млрд параметров всего и 2,2 млрд активных параметров при выводе; метаданные Hugging Face указывают размер 1,6 млрд параметров. Модель принимает текст, генерирует текст и имеет контекстное окно 4096 токенов. Авторы заявляют о конкурентных результатах относительно ряда моделей большего размера и о сравнительно низкой стоимости обучения, однако приведённые в карточке таблицы неполны, поэтому независимо оценить эти сравнения по ней нельзя. Модель доступна в формате safetensors под лицензией Apache-2.0; карточка сообщает об открытом коде и обучении только на публичных данных.

Это механически преобразованное представление Qwen2.5-3B-Instruct, подготовленное автором репозитория для запуска через vLLM. Модель не обучалась заново и не содержит новых обученных весов: чекпойнт сохранён в формате vLLM sharded_state с тензорным параллелизмом на два ранга для двух GPU Tesla T4. Веса исходной модели разработаны командой Qwen / Alibaba Cloud; размер — 3,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогового использования, включая ответы по инструкциям и структурированные ответы. В метаданных указан английский язык, а базовая Qwen2.5-3B-Instruct описана как многоязычная чат-модель. Для загрузки требуется совместимая конфигурация vLLM с исходной топологией TP=2; репозиторий не является стандартным чекпойнтом Transformers и не рассчитан на обычную загрузку через AutoModelForCausalLM. TP=1, TP>2, другие схемы GPU и обучение или дообучение не проверялись. Использование регулируется лицензией Qwen Research License: разрешены некоммерческие исследования и оценка на условиях лицензии, для коммерческого использования требуется отдельное разрешение Alibaba Cloud.

Kunokukulemonchini-7b — плотная языковая модель на архитектуре Mistral, созданная автором репозитория как слияние SLERP моделей grimjim/kukulemon-7B и Nitral-AI/Kunocchini-7b-128k-test с помощью mergekit. Она предназначена для генерации текста и диалогового общения. Модель содержит 7,1 млрд параметров, принимает текст и имеет заявленное контекстное окно 32 768 токенов. Автор также описывает варианты квантизации EXL2 с разной точностью, включая 4,1 bpw для систем с 6 ГБ видеопамяти; в метаданных этой карточки указаны веса safetensors. В README приведены результаты оценок на нескольких тестах, включая средний балл 69,61, однако подробности таблицы доступны не полностью. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование.

Limite 1B Base — базовый чекпойнт семейства Limite 1B после этапа предварительного обучения; модель представлена Paradigma Inc. Она предназначена для генерации текста и диалоговых сценариев, а также может служить исходной точкой для дальнейшей адаптации. Архитектура — плотная авторегрессионная LimiteForCausalLM примерно с 996,3 млн параметров; заявленная длина контекста составляет 131 072 токена. Модель запускается через Hugging Face Transformers и сохраняется в формате safetensors. Для загрузки требуется разрешить выполнение кода архитектуры из репозитория с помощью trust_remote_code=True. В README указана поддержка SDPA с DynamicCache и смешанным global/sliding-window StaticCache, включая StaticCache с torch.compile. Лицензия — Apache-2.0. README направляет к более позднему чекпойнту Limite 1B Violetto для актуальной версии и полной карточки; сведения о языках и специализированных доменах в предоставленных данных отсутствуют.

Trelis опубликовал шардированную версию Meta Llama-2-Chat-7B в формате Hugging Face Transformers. Это плотная авторегрессионная трансформерная языковая модель примерно на 6,6 млрд параметров с контекстом до 4096 токенов; веса разбиты на файлы размером не более 5 ГБ, чтобы упростить загрузку, в том числе в Google Colab. Модель принимает текст и генерирует текст, она настроена для диалогов и сценариев работы ассистента на английском языке. Модель подходит для диалоговых помощников, ответов на вопросы и генерации текста на английском языке. Для ожидаемого поведения чат-версии следует использовать форматирование Llama 2 с маркерами инструкций и токенами BOS/EOS. Модель может выдавать неточную, предвзятую или нежелательную информацию, поэтому перед применением её следует оценить и адаптировать к конкретной задаче. Использование регулируется специальной лицензией Meta для Llama 2; перед получением весов требуется принять её условия.

HINT-lab разработала эту плотную языковую модель семейства Llama для генерации текста с самокалибровкой уверенности. Она динамически корректирует выборку ответов во время вывода, чтобы повысить вычислительную эффективность без заявленного снижения точности. Поддерживаются методы early exit, ascending confidence, self-consistency и best-of-N. Модель содержит 7,5 млрд параметров, построена на архитектуре LlamaForCausalLM, работает с Transformers и распространяется в формате safetensors. Длина контекста составляет 131 072 токена. Основной язык — английский; поддержка других языков зависит от базовой модели. Лицензия — Apache 2.0. Модель предназначена для текстовой генерации и сценариев, где полезно управлять числом сэмплов по оценке уверенности. Она наследует смещения базовой языковой модели, а качество оценок уверенности и выигрыш от методов выборки зависят от задачи и калибровки базовой модели. Результаты следует проверять на целевых задачах, особенно перед применением в критически важных сценариях.

Карточка модели Jplotrox/Llama-3.1-8B-Lexi-Uncensored-V2 на Hugging Face совпадает с карточкой Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2, поэтому описание составлено по ней. Orenguteng разработал Lexi Uncensored V2 — диалоговую модель генерации текста на архитектуре Llama 3.1 с 7,5 млрд параметров, основанную на Llama-3.1-8B-Instruct. Модель дообучена для более свободных и послушных ответов на запросы; она поддерживает контекст до 131 072 токенов и использует библиотеку Transformers. Модель предназначена для диалогов и генерации текста по инструкциям, включая сценарии, где требуется меньше отказов, чем у исходной модели. В карточке приведены результаты Open LLM Leaderboard: среднее значение 27,93, IFEval — 77,92 и BBH — 29,69. Для инференса требуется шаблон чата Llama 3.1 с системными токенами. Автор отмечает, что версия Q4 иногда отказывает из-за возможной потери качества при квантизации и рекомендует F16 или Q8. Модель рассчитана на высокую податливость запросам, поэтому автор советует самостоятельно добавить слой выравнивания перед предоставлением её как сервиса. Лицензия — Meta Llama 3.1 Community License.

Llama-3.1-Nemotron-Nano-8B-v1-GGUF — компактная версия языковой модели семейства Llama 3.1 Nemotron, связанная с NVIDIA и представленная в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и сценариев, где важны низкое потребление памяти и возможность локального вывода: развёртывания на GPU с ограниченным объёмом VRAM, CPU и периферийных устройствах, а также исследования ультранизкобитного квантования. Модель содержит 8 миллиардов параметров, относится к текстовым генеративным моделям и заявлена для английского языка. В репозитории представлены варианты с экстремальным квантованием на 1–2 бита, включая IQ1 и IQ2, с динамическим распределением точности по слоям IQ-DynamicGate: критические embedding и output-слои используют более высокую точность, а внутренние слои — более компактные форматы. Такой подход снижает размер и требования к памяти, при этом, согласно приведённым тестам на Llama-3-8B-Instruct с контекстом 2048 токенов, может заметно улучшать perplexity по сравнению со стандартным квантованием сопоставимого разряда. Сильные стороны модели — очень низкое потребление памяти, пригодность для CPU и edge-устройств и сохранение приемлемой точности при 1–2-битном представлении. Ограничения включают возможную потерю качества по сравнению с полноточными версиями, применимость преимущественно к текстовым задачам и компромисс между точностью и эффективностью; приведённые результаты относятся к отдельным бенчмаркам и не гарантируют качество во всех сценариях. Модель распространяется по NVIDIA Open Model License; точные условия следует уточнять в тексте этой лицензии.

Llama3-8B-SuperNova-Spectrum-Hermes-DPO — языковая модель yuvraj17 на архитектуре Llama 3, дообученная методом DPO на диалоговом датасете chatml-OpenHermes2.5-dpo-binarized-alpha-2k. Она предназначена для генерации текста и ведения диалогов. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. При обучении использовалась QLoRA с 4-битной точностью в течение одной эпохи; в README указано, что исходной основой служила объединённая модель yuvraj17/Llama3-8B-SuperNova-Spectrum-dare_ties. Карточка приводит результаты оценивания на IFEval и BBH, но не описывает их методику подробно. Модель распространяется под лицензией Apache-2.0.