II.4Отладка, тестирование и качество ПО

VICIOUS_MESH-12B-BETA — объединённая модель генерации текста на архитектуре Mistral, созданная автором репозитория с помощью mergekit и метода TIES. В слияние вошли VICIOUS_MESH-12B-ALPHA и Infermatic/MN-12B-Inferor-v0.1 на базе Khetterman/DarkAtom-12B-v3. Модель содержит 12,1 млрд параметров, распространяется в формате Safetensors, а в README также указана GGUF-квантизация Q4_K_M. Модель предназначена для диалогов и генерации текста, включая ответы на запросы и работу через интерфейс вызова инструментов. Метаданные указывают поддержку английского, японского, русского, китайского, корейского и испанского языков. Заявленная длина контекста — 1 024 000 токенов; это значение значительно выше контекста, указанного для базовой Inferor 0.1, поэтому фактическую работу с таким объёмом следует проверять в используемой конфигурации. Лицензия — Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; это ограниченный набор оценок и он не гарантирует качество на конкретных задачах. Метаданные помечают модель как не предназначенную для всех аудиторий.

YamshadowInex12_T3qm7xPercival_01 — объединённая модель Mistral для генерации текста и диалогов. Она создана слиянием automerger/YamshadowInex12-7B и automerger/T3qm7xPercival_01-7B и содержит 7,1 млрд параметров. Модель принимает текст и выдаёт текст; её контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель опубликована по лицензии Apache 2.0.

T145/ZEUS-8B-V11 — языковая модель, созданная разработчиком T145 слиянием нескольких предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве базовой использована T145/KRONOS-8B-V1-P3, в слияние также вошли Llama-3.1-Storm-8B, Llama-3.1-8B-Lexi-Uncensored-V2 и Llama-3.1-SuperNova-Lite. Модель предназначена для генерации текста и диалоговых сценариев; интерфейс также поддерживает вызов инструментов. Это плотная Llama-архитектура с 7,5 млрд параметров и контекстом до 131 072 токенов. Доступна в формате safetensors для Transformers. В README приведены результаты Open LLM Leaderboard, включая 81% на IFEval и 31,21% на BBH; эти оценки отражают отдельные тесты и не гарантируют качество для конкретных запросов. Лицензия в доступных данных не указана. Включение uncensored-варианта среди исходных моделей может влиять на фильтрацию ответов; не следует считать её ответы проверенными или безопасными без собственной оценки.

ZEUS-8B-V6 — объединённая языковая модель, созданная автором репозитория T145 с помощью mergekit и метода DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединение также вошли Llama-VARCO-8B-Instruct, Llama-3.1-8B-Lexi-Uncensored-V2, Llama-3.1-Storm-8B и Llama-3.1-SuperNova-Lite. Модель построена на архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс для вызова инструментов. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH. Модель распространяется в формате safetensors. Лицензия в предоставленных данных не указана. В README нет сведений о целевых языках и подробных ограничениях качества, поэтому их нельзя достоверно определить по имеющимся материалам.

Cohere Labs Aya Vision 32B — мультимодальная модель с открытыми весами на 32 млрд параметров для работы с изображениями и текстом. Она принимает изображения и текст, а в ответ генерирует текст. Модель предназначена для распознавания текста на изображениях, создания подписей, визуальных рассуждений, суммаризации и ответов на вопросы по изображениям; также поддерживает сценарии с текстовым вводом и генерацией кода. Архитектура сочетает языковую модель Aya Expanse 32B с визуальным энкодером SigLIP2-patch14-384 через мультимодальный адаптер. Контекст составляет 16K токенов. Для обработки изображения используется до 12 фрагментов и миниатюра; разрешение фрагмента — 364×364 пикселя. Модель обучена работать с 23 языками, включая русский, английский, китайский, японский, арабский и хинди. Модель разработана Cohere Labs и опубликована как исследовательский релиз с открытыми весами. Для её запуска используется библиотека Transformers. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование; также требуется соблюдать Acceptable Use Policy Cohere Labs.

BeagSake-7B — объединённая текстовая модель, созданная shadowml с помощью LazyMergekit из shadowml/BeagleSempra-7B и shadowml/WestBeagle-7B. Веса получены методом SLERP с настройками, которые смешивают параметры attention и MLP по-разному; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат файлов — safetensors. Модель поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. В карточке приведены результаты Open LLM Leaderboard: средняя оценка 75,38, включая 72,44 на AI2 Reasoning Challenge и 88,39 на HellaSwag; эти результаты отражают только указанные тесты и не гарантируют качество в других сценариях. Доступна по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Bielik-Minitron-7B-v3.0-Instruct — генеративная языковая модель команды SpeakLeash и центра ACK Cyfronet AGH, созданная при участии NVIDIA. Это причинная декодерная модель с 7,35 млрд параметров для диалогов и выполнения инструкций; она использует шаблон чата ChatML и распространяется в формате Safetensors для Transformers. Модель получена сжатием и дообучением Bielik-11B-v3-Base-20250730: структурная обрезка и дистилляция знаний сократили число параметров на 33,4%, после чего модель прошла настройку инструкций и выравнивание предпочтений. Она предназначена для генерации ответов и решения языковых задач на европейских языках; особое внимание при обучении уделено польскому. Авторы сообщают о восстановлении примерно 90% производительности исходной модели и ускорении вывода до 50%. Лицензия Apache 2.0. Модель может ошибаться и выдавать предвзятый, оскорбительный или иной нежелательный текст; встроенных механизмов модерации нет. Ее ответы не следует считать проверенными фактами.

Bonsai 2 27B Ternary CRACK GGUF — языковая и мультимодальная модель, созданная исследовательской командой dealignai на основе тернарной версии Bonsai от PrismML и Qwen3.8-27B от Qwen. Из модели на уровне весов удалены механизмы отказа, при этом заявлено сохранение базовых возможностей, режимов рассуждения, использования инструментов и многоходового диалога. Модель предназначена для генерации текста, задач с рассуждением, работы с инструментами и сценариев, где требуется обработка изображений; конкретные поддерживаемые языки и размер контекстного окна в README не указаны. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120, отдельная vision tower. Применяется тернарное квантование PrismML PQ2_0 с эффективностью 2,13 бит на вес и размером файла около 7,21 ГБ. Доступны режимы рассуждения off, low и xhigh; для работы с изображениями используются отдельные mmproj-файлы в форматах BF16 или Q8_0. Запуск поддерживается через форк llama.cpp от PrismML на CPU, CUDA и Metal, что позволяет использовать модель на ноутбуке или одной GPU. Сильными сторонами являются малый размер для модели класса 27B, поддержка vision, рассуждений и инструментов, а также сохранение общей производительности относительно базовой тернарной версии: на указанной выборке MMLU разница составила −0,62 процентного пункта. Ограничения включают крайне низкую точность тернарного квантования, зависимость от специального форка llama.cpp и совместимых файлов проекторов, а также отсутствие встроенных механизмов отказа, что делает модель неподходящей для сценариев, требующих строгих защитных ограничений. README также предупреждает об исправлении прежней ошибки зацикливания токенов в режимах low и xhigh; рекомендуется использовать сборку, опубликованную после 18 сентября 2026 года. Лицензия — Apache-2.0.

Citaman/command-r-19-layer — объединённая методом SLERP языковая модель на архитектуре Cohere, созданная с помощью mergekit на основе Citaman/command-r-20-layer. В конфигурации объединения используются срезы слоёв одной базовой модели; в метаданных указано 17,7 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Она принимает текст и выдаёт текст. Максимальная длина контекста — 8192 токена. Модель опубликована в формате safetensors и использует библиотеку Transformers. Карточка не приводит сведений о лицензии, языковой специализации или результатах оценки качества, поэтому их нельзя определить по доступным данным.

Citaman/command-r-26-layer — слитая методом SLERP языковая модель на архитектуре Cohere, созданная с помощью mergekit на основе Citaman/command-r-27-layer. В карточке указано 23,5 млрд параметров, формат safetensors и контекстное окно 8192 токена. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Данных о поддерживаемых естественных языках нет, поэтому языковую специализацию определить нельзя. Репозиторий использует лицензию, унаследованную от базовой модели, но сведения о её условиях в предоставленных данных отсутствуют.

DatacampLlama-3.1-8B-GGUF — набор GGUF-квантизированных версий модели DatacampLlama-3.1-8B, опубликованной mlabonne. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через llama.cpp и LM Studio; в README заявлена поддержка английского языка и формат чата с ролями system, user и assistant. Модель относится к семейству Llama 3.1 и имеет размер 8B параметров. Доступны варианты от исходных весов F16 размером около 16,07 ГБ до компактных форматов Q2 и IQ3 размером примерно 3,66–4,78 ГБ, а также более качественные варианты Q4–Q8. Высокие уровни квантизации обеспечивают лучшее сохранение качества, тогда как компактные версии требуют меньше оперативной памяти, но могут заметнее уступать в качестве генерации. Отдельные варианты оптимизированы для CPU и ARM-инференса. README не указывает размер контекста, мультимодальные возможности, результаты бенчмарков или подробности обучения, поэтому модель следует рассматривать как текстовую, без подтвержденной поддержки изображений и других модальностей. Лицензия — Apache 2.0.

Это GGUF-квантизированная версия языковой модели cogito-v1-preview-qwen-32B, разработанной deepcogito и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Она может применяться для диалогов, написания и преобразования текста, а также других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит около 32 млрд параметров и доступна в вариантах от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix, что позволяет уменьшить требования к памяти при сохранении высокого качества; варианты Q6_K_L, Q6_K, Q5 и Q4 отмечены автором как рекомендуемые, а Q3 предназначены для систем с ограниченным объёмом RAM и дают более низкое качество. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и специализированные ограничения базовой модели. Для работы следует использовать формат prompt с маркерами ролей ChatML. Модель распространяется по лицензии Apache-2.0.

Falcon-H1-3B-Instruct — многоязычная генеративная языковая модель семейства Falcon-H1, разработанная TII. Это причинная decoder-only модель с гибридной архитектурой Transformer и Mamba; в метаданных указано 2,2 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения. Модель можно запускать через Transformers, vLLM и llama.cpp. В карточке приведены результаты сравнительной оценки на общих тестах, включая BBH и ARC-C. Указана лицензия Falcon-LLM License; её условия следует учитывать перед использованием и распространением.

flammen10-mistral-7B — языковая модель на архитектуре Mistral, созданная FlammenAI слиянием двух моделей методом SLERP с помощью mergekit: nbeerbower/flammen9X-mistral-7B и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель предназначена для генерации текста по запросам и может использоваться в диалоговых сценариях и для ответов на математические вопросы. Модель содержит 7,1 млрд параметров, имеет контекстное окно до 32 768 токенов и распространяется в формате safetensors для библиотеки Transformers. Вторая исходная модель описана как DPO-дообученная на математических данных Mistral, что указывает на математическую составляющую слияния. Репозиторий лицензирован по Apache-2.0.

LCM-Lab/full_streaming_64k_qwen3-4b_MLP8.0_wfrozen — дообученная плотная языковая модель семейства Qwen3 на базе Qwen/Qwen3-4B, опубликованная LCM-Lab. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. В репозитории используются веса Safetensors, модель содержит около 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. README озаглавлен «Elastic Attention: Test-time Adaptive Sparsity Ratios for Efficient Transformers», что указывает на связь модели с исследованием адаптивной разреженности внимания при работе трансформеров. Лицензия — Apache-2.0. Карточка не раскрывает конкретные результаты тестирования или подробные ограничения качества.

EZForever/gemma-4-26B-A4B-it-qat-uncensored-heretic-UDmerge-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, созданная EZForever на основе объединения моделей Unsloth и llmfan46. Распространяется в формате GGUF и предназначена для запуска совместимых локальных inference-систем. Модель ориентирована на диалоговые и текстовые задачи, а при использовании файлов mmproj также поддерживает обработку изображений; файлы mtp обеспечивают поддержку MTP. Вариант UDmerge использует квантизацию Q4_0 для аблированных тензоров и имеет заявленный размер около 14,2 ГБ. В README также упоминается вариант UDmerge-Q4_K_XXL с квантизацией Q8_0 отдельных тензоров, но идентификатор модели указывает именно на UDmerge-GGUF без уточнения этого варианта. Для модели заявлены результаты MMLU-val 81,38%, PPL 5,236 и KLD 0,0448; авторы отмечают, что показатели отказов получены на ограниченном тесте и могут быть неточными. Сильными сторонами являются компактный квантизованный формат, мультимодальная поддержка, относительно небольшое отклонение от BF16-версии и высокая производительность на MMLU в приведённом сравнении. Ограничения включают возможные потери качества из-за квантизации, экспериментальный характер слияния и неопределённость результатов тестов. Контекстное окно, поддерживаемые языки и точные требования к оборудованию в README не указаны. Модель распространяется по лицензии Apache-2.0; для работы с Gemma могут применяться дополнительные условия лицензии Google Gemma.

Mungert/granite-3.3-8b-instruct-GGUF — это GGUF-кเวантованная версия инструкционной модели Granite 3.3 с примерно 8 млрд параметров, основанная на IBM Granite 3.3 8B Base. Модель предназначена для генерации текста и запуска локального inference через совместимые инструменты, включая сценарии на устройствах с ограниченной видеопамятью, CPU и edge-оборудовании. Основная особенность репозитория — варианты ultra-low-bit quantization с использованием метода IQ-DynamicGate, который распределяет точность по слоям и защищает embeddings и output layers. Доступны форматы с экстремально низкой разрядностью, включая IQ1 и IQ2, а также другие варианты квантования. Такие форматы существенно снижают требования к памяти, сохраняя больше качества по сравнению со стандартным 1–2-битным квантованием; однако точность всё равно ниже, чем у полноразмерных или высокоточных вариантов, а прирост эффективности зависит от конкретного формата и оборудования. В README приведены результаты тестов на Llama-3-8B-Instruct с контекстом 2048 токенов, поэтому эти показатели нельзя напрямую считать характеристиками Granite-модели. Языки, точный максимальный контекст, поддерживаемые модальности и подробные результаты именно для данной модели не указаны. Лицензия заявлена как Apache 2.0.

ibm-granite/granite-4.2-30b-fp8 — это версия модели Granite-4.2-30B в формате FP8, разработанная IBM и опубликованная в семействе моделей IBM Granite. Репозиторий предназначен для использования с библиотекой Transformers и содержит модель, оптимизированную по формату представления чисел FP8 относительно исходной версии ibm-granite/granite-4.2-30b. Модель относится к языковым моделям, однако README не содержит подробностей о её архитектуре, точном числе параметров, поддерживаемых языках, размере контекста, модальностях, целевых сценариях применения, производительности или известных ограничениях. За дополнительными характеристиками README направляет к карточке исходной модели Granite-4.2-30B. Модель распространяется по лицензии Apache-2.0. Практические условия запуска и требования к аппаратному обеспечению в предоставленных данных не указаны.

munekazu/Huihui-Qwen3.8-27B-abliterated-FP8 — FP8-квантизированная версия модели Huihui-Qwen3.8-27B-abliterated от huihui-ai, созданная на основе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и мультимодальных сценариев с использованием текста и изображений, а также для развёртывания через vLLM. Это abliterated-версия, в которой удалены ограничения на отказы, присутствующие в исходной модели. Модель имеет размер 27B параметров и использует block-wise FP8-квантизацию формата e4m3 с блоками 128×128 и динамическими активациями. Объём хранения сокращён примерно с 52 GiB в BF16 до 29 GiB в FP8. Vision tower, нормализационные слои и отдельные компоненты MTP-головы сохранены в BF16, что обеспечивает поддержку мультимодального пути vLLM и speculative decoding. Заявлена поддержка контекста до 262 144 токенов; для рассуждений используется шаблон чата с параметром reasoning_effort. Сильные стороны модели — уменьшенные требования к памяти, поддержка мультимодальности, MTP speculative decoding и сохранение значительной части поведения базовой модели благодаря абляции только среднего диапазона слоёв. Ограничения включают зависимость от совместимости vLLM и аппаратного обеспечения: на GPU Ampere FP8 не использует нативные tensor cores и применяется kernel Marlin W8A16, поэтому экономия памяти не сопровождается ускорением вычислений. В vLLM 0.24.0 также наблюдалась проблема с возвратом reasoning_content через API, хотя качество ответов не страдает. Модель распространяется по лицензии Apache-2.0.

TelperionAI Huihui-Qwen3.8-27B-abliterated-INT4-AWQ-GPTQ — квантованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated. Модель построена с использованием llm-compressor и предназначена для запуска и генерации текста с меньшими требованиями к памяти, в том числе через vLLM. Калибровка выполнена на данных, сгенерированных самой abliterated-моделью, с примерами кода, математики, STEM, диалогов и многоязычных запросов. Основой является смешанная квантализация INT4 W4A16: большинство MLP-слоёв используют асимметричную INT4-квантализацию с размером группы 32, а отдельные компоненты сохраняются в INT8 или BF16. Attention-компоненты, GDN-слои, эмбеддинги, нормализации, выходная голова и vision tower используют более высокую точность. Размер весов на диске составляет около 25,1 ГБ. Поддерживаются AWQ-масштабирование и GPTQ-компенсация ошибок; заявлена совместимость с GPU архитектуры Turing и новее без необходимости FP8 или FP4. По результатам внутреннего сравнения с исходной BF16-версией модель показывает 96,45% совпадения top-1 токенов и медианное расхождение генерации на 41-м токене. При этом оценка проведена только на одном корпусе и без downstream-бенчмарков, поэтому качество на прикладных задачах не установлено. Vision tower не квантован, но модель оценивалась как текстовая; эффективность speculative decoding с MTP-головой не измерялась. Модель унаследовала от базовой версии удалённые направления отказа, поэтому её поведение в части отказов отличается от стандартной модели Qwen. Лицензия — Apache-2.0.

KRONOS-8B-V2 — объединённая языковая модель, созданная T145 методом TIES с помощью mergekit на базе unsloth/Meta-Llama-3.1-8B и включающая KRONOS-8B-V1-P1, KRONOS-8B-V1-P2, KRONOS-8B-V1-P3 и unsloth/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое использование; метаданные также отмечают интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов. README приводит результаты оценки на IFEval и BBH, но не описывает специализацию по предметной области или подтверждённый набор языков. Модель подходит для диалоговых приложений, генерации и продолжения текста, а также сценариев с длинным контекстом. В README указана лицензия модели Llama 3.1. Представленные результаты бенчмарков ограничены частью таблицы, поэтому по ним нельзя судить о качестве во всех задачах; сведения о языковом покрытии и ограничениях применения в карточке не приведены.

Sakalti/light-7b-beta — объединённая языковая модель на архитектуре Qwen2, созданная автором репозитория методом TIES с помощью mergekit на основе Qwen/Qwen2.5-7B и Qwen/Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоги; заявленный контекст — до 131 072 токенов. Модель принимает текст и выдаёт текст. Её можно использовать для диалоговых ассистентов, генерации и продолжения текста, а также структурированных ответов. В метаданных указаны интерфейс вызова инструментов и лицензия Apache-2.0. Данных о конкретной специализации, языках или результатах оценки качества в карточке нет.

Llama 3.1 Swallow 8B v0.2 — языковая модель команды Swallow из лабораторий Okazaki и YOKOTA Токийского технологического института. Это плотная авторегрессионная модель семейства Llama 3.1 с 7,5 млрд параметров, дообученная продолжением предварительного обучения на примерно 200 млрд токенов, включая японский веб-корпус, японскую и английскую Википедии, математические тексты и код. Репозиторий содержит веса safetensors; для работы модель рассчитана на библиотеку Transformers. Модель предназначена для генерации текста на японском и английском языках, включая ответы на вопросы, понимание и пересказ текста, перевод, математические рассуждения и генерацию кода. Контекстное окно составляет 8192 токена. Разработчики сообщают об усилении возможностей японского языка при сохранении возможностей английской версии Llama 3.1 и приводят оценки на японских и англоязычных тестах. Это базовая версия, а не вариант Instruct; авторы предупреждают, что модель не настроена для надёжного следования человеческим намерениям и требованиям безопасности. Лицензия — Llama 3.1 License (llama3.1), её условия применяются при использовании модели.

mlx-community/Llama-3.2-3B-Instruct — конверсия модели Meta Llama 3.2 3B Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm версии 0.18.2. Это плотная авторегрессионная языковая модель на 3,2 млрд параметров для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и ориентирована на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель подходит для диалоговых помощников, генерации и преобразования текста, а также сценариев с вызовом инструментов. В репозитории указаны веса Safetensors; README описывает конверсию в MLX и использование через mlx-lm. Лицензия — Llama 3.2 License. Качество и безопасность ответов могут зависеть от запроса и сценария применения; сведения о специализированной предметной области в карточке отсутствуют.

unsloth/Meta-Llama-3.1-70B-bnb-4bit — это 4-битно квантованная версия базовой модели Meta Llama 3.1 70B, подготовленная Unsloth для эффективного использования и дообучения. Модель предназначена прежде всего для генерации и обработки текста, включая диалоговые сценарии, продолжение текста и адаптацию под специализированные наборы данных с помощью fine-tuning или DPO. Указан английский язык и поддержка библиотеки Transformers; мультимодальность не заявлена. Ключевая характеристика модели — размер 70 млрд параметров и представление в формате bnb-4bit, снижающее требования к памяти по сравнению с полной точностью. README не содержит сведений о длине контекста, точной архитектуре, вычислительной производительности именно этой версии или результатах оценки качества. К сильным сторонам относятся крупный размер базовой модели и возможность более доступного запуска и дообучения; ограничениями являются повышенные требования к вычислительным ресурсам по сравнению с меньшими моделями и возможные потери качества из-за 4-битной квантизации. Модель распространяется по лицензии llama3.1.

Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

RedHatAI/Meta-Llama-3-8B-Instruct-FP8-KV — это квантованный вариант Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и диалоговых сценариев с использованием vLLM; чекпойнт подготовлен с помощью AutoFP8 и калибровочных примеров из ultrachat. Модель содержит 8B параметров и использует FP8-квантизацию весов и активаций с покомпонентным масштабированием на уровне тензоров. Дополнительно в чекпойнт включены масштабы для FP8-квантизации KV-кэша, что позволяет включать этот режим через параметр kv_cache_dtype="fp8" в vLLM. Для работы требуется vLLM версии 0.5.0 или новее. Данные о поддерживаемых языках, размере контекста и мультимодальности не указаны. К преимуществам относятся снижение требований к памяти и возможность эффективного инференса с FP8 KV-кэшем. По результатам Open LLM Leaderboard показатель gsm8k в режиме 5-shot составляет 74,98 против 75,44 у исходной модели и 74,37 у варианта FP8 без квантованного KV-кэша, что указывает на близкое качество в этом тесте. Ограничения включают возможную потерю точности из-за квантизации и зависимость от совместимой версии vLLM. Лицензия в README не указана.

Nhoodie/Meta-Llama-3-8B-Uninstruct-function-calling-json-mode-model_stock-v0.1 — объединённая модель на базе семейства Meta Llama 3, созданная с помощью LazyMergekit из hiieu/Meta-Llama-3-8B-Instruct-function-calling-json-mode, NousResearch/Meta-Llama-3-8B и NousResearch/Meta-Llama-3-8B-Instruct. Это плотная авторегрессионная языковая модель архитектуры LlamaForCausalLM примерно с 7,5 млрд параметров и контекстом до 8192 токенов. Модель предназначена для генерации текста и диалогов; в её составе есть вариант, настроенный на вызов функций и выдачу JSON, поэтому она может применяться в сценариях, где ответы должны следовать структурированному формату. Репозиторий содержит веса safetensors. В метаданных указана лицензия other; конкретные условия следует проверять в файлах репозитория и у базовых моделей.

TheBloke/Mistral-7B-Instruct-v0.2-AWQ — это 4-битная AWQ-квантизированная версия Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая локальный запуск через text-generation-webui, vLLM, Transformers, TGI и AutoAWQ. Для работы используется шаблон запросов Mistral: <s>[INST] {prompt} [/INST]. Модель относится к семейству Mistral, содержит около 7 млрд параметров и поддерживает контекст длиной 4096 токенов. Указана только текстовая модальность; сведения о языках в README отсутствуют. AWQ-квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, при этом заявляется сопоставимое или лучшее качество по сравнению с распространёнными настройками GPTQ. Размер опубликованной сборки составляет около 4,15 ГБ. Основные ограничения связаны с аппаратной и программной совместимостью: AWQ-версия рассчитана на Linux и Windows с NVIDIA GPU, а для macOS рекомендуется использовать формат GGUF. В README также указана лицензия Apache-2.0. Поддержка и качество конкретных задач зависят от исходной модели, настроек инференса и используемого программного окружения.

Mistral-Nemo-Instruct-2407-400k_v3 — дообученная Wassimm версия unsloth/Mistral-Nemo-Instruct-2407, созданная с использованием Unsloth и библиотеки TRL от Hugging Face. Это плотная авторегрессионная модель семейства Mistral с 12,1 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена, среди языковых меток карточки указан английский. Модель подходит для диалоговых приложений и генерации текста, включая сценарии, где чат-боту требуется обращаться к инструментам. В README нет сведений о специальной предметной области или конкретных задачах дообучения. Лицензия — Apache-2.0.