I.11Классификация, ранжирование и сопоставление

MaziyarPanahi/Experiment28M7_Experiment26Experiment26 — объединённая модель для генерации текста, созданная на основе automerger/Experiment28M7-7B и automerger/Experiment26Experiment26-7B. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, принимающая текст и поддерживающая контекст до 32 768 токенов. Модель предназначена для генерации продолжений текста и ответов на текстовые запросы. Карточка не описывает специализацию по языкам или предметным областям, поэтому её следует рассматривать как модель общего назначения. Весовые файлы представлены в формате safetensors; лицензия — Apache-2.0.

Fwizzer-R1-3B-EN-v2 — компактная языковая модель, разработанная fwizzer1 на основе Ministral-3-3B-Instruct-2512 от Mistral AI. Модель дообучена методом LoRA на наборе данных fwizzer1/en-deepthink-mega, включающем 17 281 проверенную пару с рассуждениями. Основная специализация — англоязычные задачи рассуждения, математика, логический вывод и генерация кода; в карточке также заявлена поддержка русского языка. Модель имеет 3,29 млрд параметров и предназначена для текстовой генерации. Заявлено контекстное окно до 32 768 токенов, при этом рекомендуемая длина контекста составляет 8192 токена. Она рассчитана на локальный запуск на потребительских GPU, ноутбуках и одноплатных компьютерах; для GGUF-квантизаций указано потребление примерно от 2,5 до 4,2 ГБ VRAM или RAM в зависимости от варианта. Поддерживаются сценарии работы через llama.cpp, LM Studio, Ollama, vLLM и другие совместимые инструменты. Сильными сторонами являются малый размер, ориентация на пошаговое решение задач и заявленные результаты на GSM8K — 84,1%, MATH — 56,3% и HumanEval — Pass@1 65,2%. Ограничения включают компактный масштаб модели по сравнению с крупными LLM и встроенный системный промпт, задающий формат рассуждений в тегах <think> и </think>; его влияние и качество ответов могут зависеть от конкретного клиента и настроек запуска. Модель распространяется по лицензии Apache 2.0.

Ganymede-24B-F16 — дообученная языковая модель семейства Mistral, опубликованная slrrxx101. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель содержит 22 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель дообучена на unsloth/Mistral-Small-Instruct-2409-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. В репозитории указаны веса в формате safetensors и лицензия Apache-2.0. Карточка не описывает специализацию дообучения или результаты оценки качества, поэтому пригодность для конкретных предметных областей не установлена.

Gemma 2B — компактная плотная авторегрессионная языковая модель семейства Gemma, разработанная Google. Она содержит 2,5 млрд параметров, принимает и генерирует текст и поддерживает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors и предназначен для работы с библиотекой Transformers. Модель подходит для генерации текста, ответов на вопросы, суммаризации и диалоговых интерфейсов, а компактный размер позволяет запускать её на персональных компьютерах и собственной облачной инфраструктуре. В карточке указана поддержка английского языка. Условия лицензии в предоставленных данных не описаны. Качество ответов зависит от формулировки запроса и охвата обучающих данных. Модель может ошибаться в фактах, упускать нюансы и воспроизводить предвзятость; для сложных задач и пользовательских приложений нужны проверка результатов и меры безопасности.

unsloth/gemma-2-it-GGUF — это набор GGUF-квантованных вариантов инструкционной модели Gemma 2, подготовленный Unsloth на основе модели Google. README указывает, что доступны популярные варианты квантования, а исходная модель относится к семейству Gemma 2 и представлена как минимум в версиях на 2B и 9B параметров. Модель предназначена для диалоговых сценариев, генерации и завершения текста, а также для последующего дообучения на пользовательских датасетах и экспорта в GGUF или vLLM. Заявлен английский язык; другие языки и мультимодальные возможности не указаны. Ключевая особенность — 4-битное квантование с использованием bitsandbytes, снижающее требования к памяти и позволяющее запускать и дообучать модель на более доступном оборудовании. Для Gemma 2 README приводит ориентиры дообучения на GPU Tesla T4: для версии 9B заявлены примерно двукратное ускорение и снижение потребления памяти на 63%, однако эти показатели относятся к описанным сценариям и не гарантируют аналогичную производительность при инференсе. Архитектура, размер контекста, точные параметры GGUF-вариантов и системные требования не приведены. Лицензия указана как gemma. Ограничения, связанные с качеством ответов, безопасностью, поддерживаемыми языками и конкретными режимами квантования, в README подробно не описаны; перед использованием следует проверить условия лицензии Google Gemma и характеристики выбранного файла.

Gemma-4-12B-CoreAI — конвертация языковой модели Google Gemma 4 12B, подготовленная пользователем mlboydaisuke для запуска через Apple Core AI на устройствах с Apple Silicon. Модель предназначена для генерации текста, диалогов, суммаризации и других локальных сценариев использования LLM без передачи данных в облако; заявлена интеграция с CoreAIKit и запуск на GPU или Neural Engine, хотя в README отдельно подтверждён запуск на M-series Mac через конвейерный GPU-движок. Это плотный текстовый декодер без MoE, PLE, AltUp, Laurel и совместного использования KV-кэша: 48 слоёв, скрытое представление размерностью 3840, 16 голов внимания и словарь на 262144 токена. Используется чередование оконного и глобального внимания в соотношении 5:1, причём размерность головы составляет 256 для sliding attention и 512 для глобального внимания. Доступны варианты int8 размером около 14 ГБ и int4 размером около 8,2 ГБ; на M4 Max заявлена скорость декодирования примерно 23 и 33 токена в секунду соответственно. Контекстное окно и перечень поддерживаемых естественных языков в README не указаны. Сильная сторона модели — возможность локального запуска крупной 12B-модели на Apple Silicon, включая специальное Metal-ядро flash-decode для обхода ограничений стандартного GPU-декодирования. Вариант int8 описан как проверенный и воспроизводящий результаты эталонной fp32-модели, тогда как int4 требует меньше памяти и работает быстрее, но может немного ухудшать формулировки. Ограничения включают зависимость от совместимого оборудования и Core AI, большой объём загрузки, режим decode-only, отсутствие записи о рейтинге DeviceMark и возможные сбои у обычных, не использующих специальное ядро, сборок. В метаданных указана лицензия Apache 2.0.

Gliese-OCR-7B-Post2.0-final-i1-GGUF — квантованная GGUF-версия vision-language модели Gliese-OCR-7B-Post2.0-final, разработанной prithivMLmods и квантованной mradermacher. Модель ориентирована на обработку документов: OCR, преобразование изображений и PDF в текст или Markdown, извлечение и связывание структурированных данных, а также задачи Intelligent Document Processing и Key Information Extraction. Модель имеет размерный класс 7B, поддерживает работу с визуальными данными и текстом и предназначена прежде всего для англоязычных документов. В репозитории представлены варианты квантования от IQ1 до Q6, включая рекомендуемые i1-Q4_K_M и i1-Q4_K_S; их размер составляет примерно от 2,0 до 6,6 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для запуска vision-модели могут потребоваться файлы mmproj из статического репозитория. Сильная сторона модели — специализация на распознавании и анализе документов, включая вывод в Markdown и извлечение информации из визуального содержимого. Ограничения README не раскрывает: отсутствуют сведения о длине контекста, точной архитектуре, поддерживаемых языках помимо English, результатах тестирования и типичных ошибках. Доступно множество квантованных вариантов, но наиболее низкобитные версии могут заметно уступать по качеству. Лицензия — Apache-2.0.

GLM-4-32B-Base-32K — базовая языковая модель семейства GLM-4, разработанная Arcee AI на основе THUDM/GLM-4-32B-Base-0414. Это плотная авторегрессионная модель с 31,6 млрд параметров и контекстом до 32 768 токенов; веса представлены в формате safetensors. Модель прошла дополнительное предобучение на длинных последовательностях, итеративное слияние чекпойнтов и дистилляцию знаний короткого контекста, чтобы сохранить возможности исходной версии и улучшить обработку контекста длиной до 32 тысяч токенов. Модель предназначена прежде всего как основа для дальнейшего обучения с длинным контекстом. Её можно применять в сценариях, где требуется учитывать большой объём текста, например при анализе длинных документов или поиске фактов в них. README описывает её как proof-of-concept и приводит улучшенные результаты на бенчмарках длинного контекста и ряде стандартных тестов. Поддерживаемые языки — китайский и английский. Лицензия — MIT.

GLM-4.7-Flash-5bit — это версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска на устройствах и в программных окружениях, совместимых с MLX. Модель поддерживает английский и китайский языки и относится к классу text-generation. Вариант 5bit использует 5-битное представление параметров, что может снизить требования к памяти по сравнению с полноформатной версией, однако README не содержит точных сведений о размере модели, архитектуре, длине контекста, доступных модальностях и производительности. Для работы требуется библиотека mlx-lm; в README приведён пример загрузки модели, применения chat template и генерации ответа. Модель распространяется по лицензии MIT. Ограничения, связанные с качеством, безопасностью и областью применения базовой модели, в предоставленных данных отдельно не описаны.

GLM-5.3-Flash-Alis-MLX-6bit — это 6-битная квантованная версия модели GLM-5.3-Flash, разработанной организацией zai-org и конвертированная avlp12 в формат MLX для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживается библиотекой mlx-vlm с архитектурой glm5_next. Базовая модель имеет конфигурацию 320B-A18B и архитектуру Mixture-of-Experts. В README также указана vision tower в формате bfloat16, однако подробности поддерживаемых визуальных сценариев и языков не приведены. Квантование выполнено в 6 бит с использованием схемы g64 affine для экспертов, attention, dense/shared MLP, embeddings и output head. Маршрутизатор MoE, correction bias, параметры mHC и KDA decay, а также отдельные нормы, свёртки и другие компоненты сохранены без 6-битного квантования; MTP layer 45 удалён. На M3 Ultra 512GB заявлена скорость декодирования около 24,6–26,3 токена в секунду в зависимости от длины промпта. По приведённым измерениям эта сборка имеет меньшую ошибку относительно 8-битной версии, чем указанные 4-битные варианты, но результаты получены на закрытой тестовой панели и не сопоставимы напрямую с оценками относительно BF16. Модель ориентирована на локальный инференс на Apple Silicon и требует mlx-vlm с поддержкой glm5_next. Для корректной работы рекомендуются ветки с исправлениями swiglu clamp, fp32-обработки вспомогательных параметров mHC/KDA и eps. Преимуществами являются сохранение точности маршрутизации MoE и высокая для 6-битной сборки скорость работы; ограничениями — очень большой размер базовой модели, требования к памяти и зависимость от актуальной поддержки MLX. Модель распространяется по лицензии MIT.

mlx-community/gpt-oss-120b-MXFP4-Q8 — языковая модель для генерации текста, разработанная на основе openai/gpt-oss-120b компанией OpenAI и преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.27.0. Модель предназначена для сценариев генерации текста и диалогового взаимодействия, включая работу с prompt и chat template, и может использоваться через библиотеку mlx-lm. Модель относится к pipeline text-generation и рассчитана на запуск в экосистеме MLX. В идентификаторе указано обозначение MXFP4-Q8, однако README не раскрывает подробности архитектуры, фактический объём параметров, поддерживаемые языки, максимальную длину контекста, модальности или результаты тестирования. Лицензия — Apache-2.0. Сильной стороной является адаптация к MLX и возможность локального использования через mlx-lm; ограничения и требования к аппаратным ресурсам в предоставленных данных не указаны.

Hermes-2-Theta-Llama-3-8B-IMat-GGUF — это квантованная версия языковой модели NousResearch/Hermes-2-Theta-Llama-3-8B, подготовленная пользователем legraphista с помощью llama.cpp. Модель основана на Llama 3 и дообучена на наборе teknium/OpenHermes-2.5. Она предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты llama.cpp. Модель имеет 8 миллиардов параметров и распространяется в формате GGUF с вариантами квантования от Q2_K и IQ3 до Q8_0, а также в форматах FP16 и BF16. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели. В README указан английский язык, однако сведения о длине контекста и мультимодальности отсутствуют; по представленным данным модель является текстовой. Основные преимущества — широкий выбор размеров файлов, возможность локального использования и наличие низкобитных вариантов, снижающих требования к памяти. Качество зависит от выбранного уровня квантования: более компактные варианты экономичнее, но могут сильнее уступать исходной модели. Лицензия — Apache-2.0.

Hermes 3 Llama 3.1 70B 4bit — чат-модель, подготовленная сообществом mlx-community для запуска в экосистеме MLX. Она преобразована в формат MLX из NousResearch/Hermes-3-Llama-3.1-70B с помощью mlx-lm 0.16.1. В основе лежит дообученная плотная модель Llama 3.1 с архитектурой LlamaForCausalLM и 69,5 млрд параметров; модель рассчитана на диалоги и следование инструкциям, поддерживает контекст до 131 072 токенов и английский язык. Модель подходит для чат-ботов, ответов на вопросы, генерации текста и ролевых диалогов. Тег 4bit в названии указывает на 4-битное представление, однако метаданные перечисляют формат safetensors, поэтому точный способ представления весов в репозитории не подтверждён. Лицензия — Llama 3 Community License (llama3); условия её использования следует учитывать при развёртывании.

ibm-granite_granite-4.1-30b-GGUF — это набор GGUF-квантизаций языковой модели Granite 4.1 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.1-30b. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix, предназначены для локального запуска и генерации текста. Модель рассчитана на задачи text-generation и может использоваться через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты от BF16 до низкобитных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. Размер файлов варьируется примерно от 12,78 до 57,74 ГБ; наиболее качественные варианты Q6_K_L и Q6_K имеют размер около 24 ГБ, а Q4_K_M предлагается как сбалансированный вариант. Сильной стороной набора является широкий выбор квантизаций, включая варианты, оптимизированные для различных сценариев и архитектур CPU, а также сохранение высокого качества у старших форматов. Ограничения включают значительные требования к оперативной или видеопамяти для 30-миллиардной модели, снижение качества у младших квантизаций и необходимость поддержки Granite 4.1 используемым программным обеспечением. В README не указаны языки, размер контекста, архитектурные детали и мультимодальные возможности, поэтому эти характеристики нельзя достоверно определить по представленным данным. Модель распространяется по лицензии Apache-2.0.

Модель PS4Research/IKn8jwlNamPNIS15 — дообученная PS4Research языковая модель семейства Granite на базе ibm-granite/granite-4.2-30b. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс также поддерживает вызов инструментов. Модель содержит 28,9 млрд параметров, использует плотную архитектуру GraniteForCausalLM и принимает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Базовая модель IBM описана как многоязычная и предназначенная для рассуждений, диалога, программирования и вызова инструментов, однако README не уточняет, какие именно навыки были предметом дообучения этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0; для ускорения обучения использовались Unsloth и библиотека TRL.

ISOM-R1-Enterprise-40B — производная Falcon-40B-Instruct, разработанная Prannessh K.V.A. как исследовательская реализация для аналитических рассуждений и анализа длинных документов в корпоративных сценариях. Модель использует плотную авторегрессионную архитектуру Falcon с 60 слоями и Multi-Query Attention; в README заявлено 40 млрд параметров, тогда как метаданные указывают 65 млрд. Для каталога длина контекста составляет 8192 токена, хотя в README приведены теоретические спецификации до 32 768 токенов. Автор описывает ограниченное состояние памяти и изометрические операторы как архитектурные особенности, призванные снизить рост затрат на KV-кэш при длинном контексте. Приведённые оценки названы теоретическими; эмпирическая проверка обработки последовательностей длиной 32K не заявлена. Модель генерирует текст по текстовому запросу, карточка указывает английский язык. Репозиторий содержит веса PyTorch и SafeTensors. Лицензия модели — CC BY-NC-ND 4.0; README отдельно указывает, что базовая Falcon-40B-Instruct распространяется по Apache 2.0.

K2S3-Mistral-7b-v1.46 — языковая модель, разработанная K2S3 и дообученная методом SFT на базе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,2 млрд параметров, принимающая текст и генерирующая текст; родной контекст — 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции. При обучении использовались alpaca-gpt4-data и выборки из OpenOrca. В карточке указано обучение с полным обновлением параметров; веса доступны в формате Safetensors. Метаданные отмечают английский язык. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Качество ответов и устойчивость к ошибочным или небезопасным запросам могут зависеть от задачи и формулировки.

Карточка модели ansulev/LFM2.5-2.6B-Uncensored на Hugging Face совпадает с карточкой SC117/LFM2.5-2.6B-Uncensored, поэтому описание составлено по ней. SC117/LFM2.5-2.6B-Uncensored — производная текстовая модель сообщества на основе LiquidAI/LFM2.5-2.6B. Автор карточки описывает её как компактную модель для локального запуска и агентных сценариев; поведенческое редактирование abliterix Trial 65 снижает частоту отказов, сохраняя заявленные возможности следования инструкциям, работы с инструментами и многошаговых задач. Официальные бенчмарки для этой версии не проводились. Модель имеет плотную гибридную архитектуру LFM2: 30 слоёв, включая блоки коротких свёрток и GQA. Размер — 2,6 млрд параметров, контекст — 128 000 токенов. Поставляется в BF16 в формате safetensors и использует шаблон диалога на основе ChatML с маркером рассуждения <think>. В карточке не перечислены поддерживаемые естественные языки. Изменённое поведение означает более низкий порог отказа на запросы, поэтому модель может выдавать ответы, от которых отказывается базовая версия; её соответствие требованиям конкретного применения нужно оценивать отдельно. Это не официальный релиз Liquid AI. Указана лицензия LFM Open License v1.0, совпадающая с лицензией базовой модели; перед использованием следует учитывать её условия.

AtomicChat/Ling-3.0-flash-GGUF — набор GGUF-квантизаций модели inclusionAI/Ling-3.0-flash, подготовленный AtomicChat. Модель предназначена для генерации текста и диалоговых сценариев, запускаемых локально через llama.cpp; в GGUF встроен шаблон чата, поддерживаются режим рассуждений и вызовы инструментов. Исходная модель имеет 124 млрд параметров, из которых 5,1 млрд активны при обработке токена. Архитектура сочетает гибридное линейное внимание и Mixture-of-Experts на 512 экспертов: 35 блоков KDA чередуются с 7 блоками gated MLA в соотношении 5:1. Доступны варианты размером примерно от 32,4 до 89,4 ГБ; наиболее качественным вариантом для соответствующего объёма памяти заявлен AD-Q5_K_M. Контекст в примере запуска составляет 32 768 токенов, однако максимальный поддерживаемый размер контекста в README не указан. Языки и мультимодальные возможности не заявлены. Ключевая особенность — квантизация Atomic Dynamic, при которой точность распределяется с учётом роли тензоров, типа проекции и глубины блока. По приведённым измерениям, некоторые варианты имеют меньшую ошибку KL относительно BF16, чем стандартные квантизации llama.cpp аналогичного размера. При этом для запуска требуется специальная сборка llama.cpp TurboQuant и значительный объём памяти; память нужна также под контекст. Варианты с очень малым размером, особенно AD-IQ1_S и AD-IQ2_M, заметно теряют качество. Для Intel GPU готового SYCL-архива нет. Лицензия — MIT.

Ling-3.0-Tiny-NVFP4-GGUF — квантизированная в формат GGUF версия модели inclusionAI/Ling-3.0-tiny, опубликованная WhiskyAKM. Это компактная гибридная MoE-модель с архитектурой hybrid-linear: в ней чередуются Kimi Delta Attention и Multi-Head Latent Attention, а блок FFN использует 128 маршрутизируемых экспертов. Всего модель содержит 7,9 млрд параметров, из которых на каждом токене активны 1,3 млрд; контекстное окно — 256 тысяч токенов. Модель предназначена для диалогов, рассуждений и вызова инструментов, включая локальный запуск через llama.cpp. Она поддерживает английский и китайский языки, а режим рассуждений можно включать и отключать. Представлен файл с квантизацией NVFP4, рассчитанной на ускорение на оборудовании NVIDIA с поддержкой FP4. Лицензия — MIT. Качество и скорость могут зависеть от аппаратного ускорения и используемой конфигурации llama.cpp.

ETRI xainlp team разработала текстовую генеративную модель на архитектуре Llama с 12,9 млрд параметров. В основе лежит meta-llama/Llama-13b-hf; модель дообучена на 650 тыс. примеров для следования инструкциям, затем на 280 тыс. примеров LIMA и на 90 тыс. примеров предпочтений пользователей с применением DPO и LoRA. Модель принимает текст и генерирует текст, поэтому подходит для диалоговых сценариев и выполнения инструкций. Длина контекста составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Модель triplee/llama3.1_8b_2S1S_v5_merge — дообученная текстовая модель семейства Llama 3.1, разработанная triplee на основе unsloth/meta-llama-3.1-8b-instruct. Она предназначена для генерации текста и диалоговых сценариев; в метаданных также заявлен интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Для обучения использовались Unsloth и библиотека TRL; файлы представлены в формате safetensors. Лицензия — Apache-2.0.

2023mt13042 выпустил модифицированную и дообученную версию Meta Llama 3.1 8B Instruct, применив методику Abliteration — редактирование представлений модели. Это плотная авторегрессионная трансформерная модель семейства Llama для диалогов и генерации текста; в метаданных указано 7,5 млрд параметров, а контекст составляет до 131 072 токенов. Модель принимает текст и выдаёт текст, карточка заявляет поддержку английского языка. Её можно использовать для диалоговых приложений и генерации текста. Для запуска предусмотрены Transformers и веса safetensors в формате fp16; README приводит ориентир от 16 ГБ видеопамяти для обычного запуска и предлагает квантование для устройств с меньшей памятью. Модель наследует условия лицензии Meta Llama 3.1 Community License. Перед применением в производственной среде следует проверять качество и поведение ответов.

unsloth/Llama-3.2-3B — версия текстовой модели Meta Llama 3.2, представленная в репозитории Unsloth для использования и дообучения. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с 3,2 млрд параметров и контекстом до 131 072 токенов. README описывает семейство Llama 3.2 как модели для генерации текста и диалога; Unsloth предоставляет ноутбуки для настройки модели на собственных данных и экспорта результата. Модель подходит для генерации и продолжения текста, диалоговых сценариев, суммаризации и помощников с ограниченными вычислительными ресурсами. Семейство официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; конкретная карточка также помечена языком en. Репозиторий использует формат safetensors и библиотеку Transformers. Модель основана на meta-llama/Llama-3.2-3B и распространяется по лицензии Llama 3.2 Community License — специальной лицензии Meta с коммерческими условиями. Качество генерации, фактическая точность и пригодность для конкретного языка или применения зависят от запроса и развертывания; заявленные в README преимущества скорости и экономии памяти относятся к настройке через Unsloth.

Это дообученная DavidAU модель семейства Llama 3.3 на 7,5 млрд параметров для диалогов, следования инструкциям и генерации текста с режимом рассуждений. Автор сообщает, что дообучил вариант Llama 3.3 8B Instruct через Unsloth на датасете Claude 4.5 Opus High Reasoning; перед этим модель была модифицирована для снижения отказов. В карточке также заявлено восстановление контекста до 128 тысяч токенов. Модель предназначена для ответов на запросы, пошаговых рассуждений и творческого письма, включая рассказы, ролевые диалоги и хоррор. Автоматическая активация режима рассуждений зависит от формулировки запроса; для желаемого уровня откровенности или ненормативной лексики автор рекомендует явно задавать стиль и лексику. Указаны поддержка нескольких языков, включая русский, и лицензия Apache-2.0. Это текстовая модель, опубликованная в формате Safetensors для Transformers.

Это квантизированная версия llama-3-70B-Instruct-abliterated в формате GGUF, подготовленная пользователем bartowski на основе модели failspy/llama-3-70B-Instruct-abliterated. Квантизация выполнена с помощью llama.cpp версии b2854 и метода imatrix. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая локальный запуск через совместимые инструменты llama.cpp. Модель относится к семейству Llama 3 и содержит 70B параметров, однако README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна или набор модальностей. Доступны варианты квантизации от Q8_0 до Q2 и IQ2–IQ4, различающиеся размером файлов и качеством: от 74,97 ГБ у Q8_0 до 21,14 ГБ у IQ2_XS. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS; более компактные варианты требуют меньше памяти, но обычно снижают качество. Сильной стороной являются разнообразие квантизаций, возможность локального использования и сохранение высокого качества у вариантов Q6_K и Q5. Ограничения связаны с существенными требованиями к памяти для 70B-модели, потерей качества в низкобитных вариантах и отсутствием подробных сведений о результатах тестирования, языках и контекстном окне. Для корректного общения следует использовать указанный в README шаблон prompt format с системным, пользовательским и ассистентским сообщениями. Указана лицензия llama3; дополнительные условия следует уточнять в файле LICENSE исходной модели.

unsloth/llama-3-8b — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta и представленная в репозитории Unsloth. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. В метаданных указан английский язык. Репозиторий содержит веса в формате Safetensors. Модель подходит для генерации продолжений текста и диалоговых сценариев. README Unsloth также предлагает ноутбуки для дообучения Llama 3 8B, включая разговорный формат ShareGPT ChatML/Vicuna и завершение произвольного текста; сам README описывает инструменты и примеры настройки обучения, а не отдельную специализацию чекпойнта. Репозиторий указывает лицензию Llama 3 (llama3); условия использования определяются лицензией Meta Llama 3.

QuantFactory/Llama-3-8B-WizardLM-196K-GGUF — это квантизированная версия модели Llama-3-8B-WizardLM-196K, созданная QuantFactory с использованием llama.cpp. Исходная модель основана на Meta Llama 3 8B и дообучена с применением Axolotl на наборе данных Leon-Leee/Wizardlm_Evol_Instruct_v2_196K_backuped. Модель предназначена для генерации текста и выполнения инструкций в сценариях, совместимых с causal language model. Архитектура модели — LlamaForCausalLM, размер — около 8 миллиардов параметров. В конфигурации обучения использовалась максимальная длина последовательности 8192 токена, однако точный поддерживаемый контекст квантизированной версии в README не указан. Данные о языках и мультимодальности отсутствуют; по описанию это текстовая, а не мультимодальная модель. Среди характеристик указаны дообучение в течение двух эпох и итоговая validation loss 0.6077, но результаты независимых тестов не приведены. Квантизация в формате GGUF может снизить требования к памяти и упростить локальный запуск через совместимые инструменты llama.cpp, однако конкретный уровень квантизации, размер файлов и требования к оборудованию не указаны. Ограничениями являются отсутствие подробных сведений о языковой специализации, фактическом размере контекста, точности на прикладных бенчмарках и возможных рисках поведения. Лицензия обозначена как llama3; условия её применения следует уточнять по лицензии исходной модели Meta Llama 3.

Alecator/llama-3-Buzzy — дообученная языковая модель Alecator на базе unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также указана поддержка интерфейса вызова инструментов. Контекстное окно составляет до 131 072 токенов, основной язык карточки — английский. Модель можно использовать для диалоговых помощников, генерации и продолжения текста, а также сценариев с вызовом инструментов. В README указано, что обучение проводилось с Unsloth и библиотекой TRL. Модель распространяется по лицензии Apache-2.0. Данных о специальных ограничениях качества или областях применения в карточке нет.

Hikari07jp разработал эту японско-английскую диалоговую модель на основе llm-jp/llm-jp-4.1-32b-a3b-thinking, применив abliteration: изменение весов, снижающее склонность модели отказывать в ответах. Модель использует архитектуру Qwen3 MoE с 32 слоями, общим размером 32 млрд параметров и примерно 3,3 млрд активных параметров. Она предназначена для генерации текста в диалогах, рассуждений, ответов на вопросы и вызова инструментов; в карточке приведены результаты небольших проверок знаний и математических задач. Доступны исходные веса BF16 и сборки GGUF, в том числе смешанная Q5-квантизация и NVFP4 W4A8. Указанная в карточке лицензия — Apache-2.0. Контекст модели составляет 65 536 токенов по метаданным, хотя примеры запуска llama.cpp в README используют 4096 токенов. Известна проблема совместимости llama.cpp: обработчик Harmony может не разобрать начальный токен-пробел в `/v1/chat/completions` и вернуть ошибку, хотя текст ответа может присутствовать в сообщении об ошибке. В README рекомендуется использовать raw prompt через `/completion` либо адаптировать клиент для извлечения канала `final`. Abliteration снижает склонность к отказам, поэтому модель может отвечать на запросы, от которых базовая модель отказалась бы.