I.11Классификация, ранжирование и сопоставление

Lamarck-14B-v0.7 — языковая модель на 14 млрд параметров, собранная sometimesanotion как объединение нескольких моделей семейства Qwen2. Для создания использовалась собственная цепочка слияний весов, включая SLERP и TIES, и объединение ветвей, построенных с помощью LoRA и других методов слияния. В числе предшественников — DeepSeek-R1-Distill-Qwen-14B, Virtuoso-Small и предыдущие версии Lamarck. Модель предназначена для диалогов и генерации текста общего назначения с упором на многошаговые рассуждения, связную прозу, перевод и работу на нескольких языках. Контекст — до 131 072 токенов; в карточке отмечена поддержка английского языка, а автор также заявляет о многоязычных возможностях. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. Заявления о качестве основаны на оценках автора и субъективном описании возможностей; независимые результаты бенчмарков в карточке не приведены. Для унаследованных компонентов и слияния качество может различаться в зависимости от задачи.

Lemer — это мультимодальная версия Gemma 4 E2B в формате GGUF, разработанная Lethean и основанная на форке LetheanNetwork/lemer. В модель встроен Lethean Ethical Kernel (LEK): его поведенческие настройки были добавлены через LoRA-файнтюнинг и объединены с весами, поэтому для работы не требуется отдельный PEFT-адаптер. Модель предназначена для диалоговых сценариев, генерации и анализа текста, а также обработки изображений и аудио, включая локальный запуск на устройствах с ограниченными ресурсами. Репозиторий содержит варианты квантования от Q3_K_M до BF16 размером примерно от 3,0 до 8,7 ГБ. Рекомендуемым указан Q4_K_M как компромисс между качеством и размером; Q3_K_M ориентирован на наиболее ограниченные устройства, а BF16 служит полноточной версией. Заявлена поддержка Ollama, llama.cpp, GPT4All, LM Studio и llama-cpp-python. Токенизатор содержит 262 тысячи токенов, однако размер контекстного окна и точный набор поддерживаемых языков в карточке не указаны. Сильными сторонами модели являются единый автономный GGUF-файл, мультимодальность, несколько уровней квантования и ориентация на локальный инференс. Ограничения включают отсутствие в README подробных результатов оценки, точных характеристик архитектуры и контекстного окна, а также потенциальные компромиссы качества при использовании квантованных вариантов. Модель распространяется по лицензии European Union Public Licence 1.2 (EUPL-1.2).

LFM2-350M — компактная языковая модель, разработанная Liquid AI для работы на периферийных устройствах и локального запуска на смартфонах, ноутбуках и автомобильных системах. Это плотная гибридная модель семейства LFM2 с примерно 318,8 млн параметров по метаданным и 354,5 млн по карточке модели; архитектура сочетает 10 блоков коротких свёрток с двойными вентильными механизмами и 6 блоков внимания GQA. Модель поддерживает контекст до 128 000 токенов согласно метаданным; README указывает 32 768 токенов. Модель предназначена для генерации текста и диалогов, включая извлечение данных, RAG, творческое письмо, многошаговые разговоры и сценарии с вызовом инструментов. Liquid AI рекомендует адаптировать её дообучением под узкие задачи. По данным карточки, модель эффективно работает на CPU, GPU и NPU; указаны ускорения обучения и CPU-инференса относительно предыдущего поколения LFM и Qwen3 соответственно. Обучение включало дистилляцию от LFM1-7B, supervised fine-tuning, DPO и слияние моделей. Поддерживаемые языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Разработчик не рекомендует модель для задач, требующих обширных знаний или навыков программирования. В метаданных указана лицензия other; конкретные условия использования следует сверять с лицензией репозитория Hugging Face.

Abiray/LFM2.5-2.6B-Heretic-Abliterated-GGUF — набор GGUF-квантизаций модели LFM2.5-2.6B, разработанной Liquid AI, с изменениями Heretic (abliterated). Модель предназначена для локального запуска, агентских сценариев, многошагового выполнения инструкций и вызова инструментов. Версия Heretic снижает склонность исходной модели к отказам на ограниченные, спорные и явные запросы, сохраняя заявленные возможности базовой модели. Модель имеет плотную архитектуру LFM2.5 с 30 слоями: 22 блока коротких свёрток с двойным управлением и 8 слоёв GQA. Она содержит около 2,69 млрд параметров, поддерживает контекст до 131 072 токенов, словарь размером 128 000 токенов и нативный вызов инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, итальянского, японского, корейского, португальского, испанского, вьетнамского, тайского, индонезийского, хинди, русского и польского языков. Доступны квантизации от Q3_K_M до Q8_0 размером примерно от 1,37 до 2,87 ГБ. Q4_K_M позиционируется как оптимальный вариант для мобильных и периферийных устройств, а Q8_0 — как вариант с минимальными потерями качества для сложных задач и интенсивного использования инструментов. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Abliteration уменьшает защитные отказы, однако README не приводит независимой оценки безопасности, качества или стабильности поведения модели. Модель распространяется по лицензии Apache-2.0. Предусмотрен полностью офлайн-запуск на CPU или GPU через llama.cpp; для корректного диалогового режима рекомендуется использовать соответствующий шаблон чата.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — это квантизированные GGUF-версии инструкционной языковой модели Llama-3.1-Nemotron-70B-Instruct-HF, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; доступны варианты с разными уровнями сжатия и размером файлов примерно от 26 до 75 ГБ. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. В README указан английский язык, а также набор данных NVIDIA HelpSteer2, использованный для исходной модели. Архитектура описана как Llama 3.1 Nemotron с размером 70B параметров; поддерживаемые модальности ограничены текстом. Контекстное окно в представленном описании не указано. Сильная сторона семейства — возможность выбрать баланс между качеством и требованиями к памяти: варианты Q6_K и Q5 считаются близкими к исходному качеству, а более компактные Q3 и Q2 подходят для систем с ограниченным объёмом RAM, но заметно уступают по качеству. Q4_K_M обозначен как вариант стандартного размера. Квантизации предназначены для локального запуска, однако даже компактные версии требуют значительных ресурсов. Модель распространяется по лицензии llama3.1.

Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

MaziyarPanahi/Llama-3-8B-Instruct-64k-GGUF — набор файлов модели в формате GGUF, созданный и квантизированный MaziyarPanahi на основе MaziyarPanahi/Llama-3-8B-Instruct-64k. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Из указанных данных известны размер 8B, принадлежность к семейству Llama 3, инструктивная настройка и заявленный контекст до 64 тысяч токенов у базовой модели. Поддерживаются варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством. Модель работает с текстом; сведения о языках и дополнительных модальностях не указаны. Формат GGUF ориентирован на эффективный локальный инференс и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения включают возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие в README сведений о лицензии, результатах оценки и точных требованиях к ресурсам.

Карточка модели Dido599999/MD1RoBoTs-Gemma2-27B на Hugging Face совпадает с карточкой google/gemma-2-27b-it, поэтому описание составлено по ней. Gemma 2 27B IT — инструктивно дообученная текстовая языковая модель Google из семейства Gemma 2. Это декодерная трансформерная модель с открытыми весами, предназначенная для диалога и генерации текста по инструкциям. В репозитории указаны формат safetensors и библиотека Transformers; модель основана на google/gemma-2-27b. Модель подходит для ответов на вопросы, суммаризации, диалоговых помощников, создания текстов и рассуждений по заданному контексту. В карточке семейство описано как англоязычное; модель принимает текст и генерирует текст. Размер модели составляет 27 млрд параметров. Ответы могут содержать фактические ошибки и отражать предвзятости обучающих данных; модель может испытывать трудности с тонкими языковыми нюансами и сложными открытыми задачами. Условия лицензии Gemma определяются лицензией Google Gemma; перед использованием следует ознакомиться с её условиями и политикой допустимого применения.

Mengzi3-13B-Base — базовая языковая модель Langboat на архитектуре Llama с 13,3 млрд параметров. Она продолжительно обучалась на многоязычном корпусе объёмом в триллионы токенов, включающем веб-страницы, энциклопедии, социальные сети, СМИ, новости и открытые наборы данных. Модель предназначена для генерации текста и дальнейшей адаптации под пользовательские задачи; карточка отмечает сильные способности в китайском языке и поддержку других языков. Модель может служить основой для приложений генерации текста, а также задач по математике и программированию. В карточке приведены сравнительные результаты бенчмарков, но они не гарантируют качество на конкретных пользовательских данных. Контекст составляет 8192 токена. Репозиторий содержит веса SafeTensors, а лицензия — Apache-2.0. Разработчики предоставляют модель «как есть» и возлагают ответственность за её применение на пользователей.

mlx-community/Meta-Llama-3.1-70B-Instruct-8bit — 8-битная версия инструкционно дообученной большой языковой модели Meta Llama 3.1 с 70 миллиардами параметров, подготовленная сообществом mlx-community для использования в экосистеме MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы, написание и преобразование текста. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель относится к классу text-generation и использует библиотеку Transformers; модальность — текстовая. Ключевая особенность варианта — 8-битное представление весов, которое может снизить требования к памяти по сравнению с полноразмерной моделью, сохраняя принадлежность к крупной 70B-модели. При этом для запуска всё равно требуются значительные вычислительные ресурсы, а конкретные показатели качества, производительности и максимального контекста в README не указаны. Как и другие языковые модели, она может генерировать неточные или нежелательные ответы, поэтому результаты требуют проверки. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», атрибуцию и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование запросить отдельную лицензию у Meta.

Карточка модели Crystalcareai/meta-llama-3.1-8b на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

QuantFactory/Meta-Llama-3.1-8B-Instruct-GGUF — это квантованная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 млрд параметров, подготовленная QuantFactory в формате GGUF. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, поддержку пользователей и другие задачи обработки естественного языка. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель относится к текстовым генеративным системам; сведения о контекстном окне, конкретном методе и уровне квантования, требованиях к памяти и производительности в предоставленных данных отсутствуют. Формат GGUF обычно ориентирован на локальный запуск, однако точные параметры использования для данной сборки не указаны. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрено дополнительное требование получить отдельное разрешение Meta.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Она построена на плотной архитектуре Mistral и содержит 7,1 млрд параметров; модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекстное окно составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. В предоставленных материалах не описаны языковое покрытие и специальные ограничения качества или безопасности.

MiniAI Quata1.5 (4B) — компактная языковая модель MiniAI на базе Qwen3-4B, дообученная для диалогов, следования инструкциям, рассуждений и генерации текста. Модель содержит около 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает текст; метаданные указывают контекст до 40 960 токенов. Карточка также описывает вариант GGUF с квантизацией Q4_K_M размером около 2,5 ГБ и локальный запуск через Ollama. Модель рассчитана на локальное использование, в том числе на потребительском оборудовании, и может применяться для ответов на вопросы, работы с длинными документами и генерации кода. README приводит результаты тестов MMLU, ARC-Challenge, GSM8K и TruthfulQA, однако методика и условия этих сравнений не описаны. Указана лицензия Apache 2.0; метаданные связывают репозиторий с базовой моделью Qwen/Qwen3-4B.

MiniCPM4-8B — плотная языковая модель OpenBMB с 7,9 млрд параметров, построенная на архитектуре MiniCPMForCausalLM. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами; разработчики сообщают об ускорении генерации более чем в пять раз на типичных конечных устройствах, а на Jetson AGX Orin — примерно в семь раз по сравнению с Qwen3-8B при декодировании. Модель обучена на 8 трлн токенов и поддерживает диалоговый режим. Модель принимает текст и генерирует текст. Она предобучена на контекстах длиной 32 тысячи токенов, а расширение контекста до 128 тысяч достигается с помощью YaRN; README приводит результаты теста поиска фрагмента в длинном тексте. Карточка и метаданные указывают поддержку китайского и английского языков. Модель распространяется по лицензии Apache-2.0. Производитель отмечает, что генерируемые ответы требуют самостоятельной проверки: модель не выражает личных мнений или ценностных суждений, а её выводы не следует считать позицией разработчиков. Для корректного форматирования запросов при использовании chat API vLLM нужно явно включать добавление специальных токенов.

Mirai Nova — дообученная LocalAI модель на архитектуре Llama 3, созданная для генерации текста и диалогов. Разработчики ориентируют её на вызов функций и отмечают усиленные способности к рассуждению; модель также подходит для общих текстовых задач. В LocalAI она рассчитана на работу с вызовом функций через грамматики. Чекпойнт содержит 7,5 млрд параметров, поддерживает контекст до 8192 токенов и распространяется в формате safetensors. Сведений о лицензии в использованных данных нет.

Mistral-Large-Instruct-2407-IMat-GGUF — это набор квантованных версий Mistral-Large-Instruct-2407, разработанной Mistral AI. Квантование выполнил legraphista с использованием llama.cpp версии b3452 и метода IMatrix. Модель предназначена для генерации текста и запуска в совместимой инфраструктуре llama.cpp и других инструментах, поддерживающих формат GGUF. Модель рассчитана на работу с текстом и заявлена для английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; размеры файлов составляют примерно от 45,20 до 245,23 ГБ. Версии Q4_K и более компактные используют IMatrix, что предназначено для сохранения качества при квантовании. Все варианты представлены в виде разделённых файлов. Сильная сторона набора — широкий выбор точностей и размеров, позволяющий подобрать компромисс между качеством, требованиями к памяти и производительностью. Ограничения — значительный объём файлов, необходимость специального программного обеспечения для запуска и отсутствие в README сведений о размере контекста, числе параметров, конкретных результатах тестирования и поддержке мультимодальных входов. Модель распространяется по лицензии Mistral Research License 0.1 (MRL-0.1).

Mistral-Small-3.2-24B-Instruct-2506-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral Small 3.2 24B Instruct 2506, преобразованная сообществом mlx-community в формат MLX из варианта bf16. Модель предназначена для генерации текста и работы с диалоговыми запросами, включая использование chat template, и ориентирована на запуск через библиотеку mlx-lm. Модель поддерживает английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других языков, перечисленных в карточке. Известный размер исходной модели — 24 миллиарда параметров; в данном варианте используется 4-битное представление, что может снизить требования к памяти по сравнению с bf16, но потенциально уменьшает точность. Архитектура и размер контекстного окна в README не указаны. Для работы требуется MLX и mlx-lm; в карточке приведён пример загрузки и генерации текста на Python. Модель распространяется по лицензии Apache-2.0. Ограничения, результаты тестирования и рекомендации по аппаратным требованиям в README не описаны.

Accio-Lab/occamy-1.0-NVFP4 — это версия модели Occamy 1.0 со смешанными NVFP4-квантованными весами, разработанная Accio-Lab. Модель основана на Qwen3.6-35B-A3B и использует архитектуру mixture-of-experts (MoE). Она относится к мультимодальным моделям image-text-to-text и предназначена для работы с текстовыми и визуальными запросами. Квантованию подвергнуты маршрутизируемые эксперты: для их весов и активаций используются NVFP4. Механизмы внимания, маршрутизаторы, общие эксперты, эмбеддинги, выходная голова и vision-компоненты сохранены в формате BF16. Сохранены исходные токенизатор и chat template Occamy; отдельная MTP-голова в этот checkpoint не включена. Модель подходит для генерации текста и кода, структурированных ответов в JSON, tool calling и базового распознавания изображений. Проверки показали сопоставимое с BF16-версией поведение на небольшом наборе тестов для текста, кода, JSON, вызова инструментов и изображений. При этом заявленные проверки не являются общими бенчмарками и не подтверждают качество на широком спектре задач, аудио, видео, длинном контексте или производительность. Набор калибровки был ограниченным, а нативное выполнение NVFP4 требует совместимого оборудования и ядер; совместимость с vLLM проверялась через Marlin W4A16, а не через нативные FP4-вычисления. Валидация проводилась с контекстом 2048 токенов. Модель распространяется по лицензии Apache-2.0.

OLMo-2-1124-7B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели OLMo-2-1124-7B-Instruct, разработанной Allen Institute и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и решение задач в локальных приложениях на базе llama.cpp. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и ориентирована на английский язык. В репозитории доступны варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3 и Q2, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Для квантования использовалась imatrix-методика, а также исправленный tokenizer.json базовой модели. Точный размер контекстного окна в README не указан. Сильная сторона сборки — возможность запуска модели локально с различным объёмом памяти и совместимость с llama.cpp; варианты Q6 и Q5 заявлены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию для большинства сценариев. Более сильное квантование уменьшает требования к ресурсам, но может снижать качество ответов; низкобитные варианты имеют заметные ограничения. Отдельные сборки оптимизированы для ARM и требуют соответствующих аппаратных возможностей. Модель распространяется по лицензии Apache-2.0.

OpenChat 3.6 8B 20240522 — языковая модель семейства OpenChat, разработанная командой OpenChat и основанная на Meta Llama 3 8B. Данный репозиторий содержит её GGUF-квантизации, предназначенные для локального запуска и эффективного развертывания. Модель работает в режиме генерации текста и диалогов, поддерживает совместимый с OpenAI ChatCompletion API сервер и может использоваться через OpenChat Web UI. Модель имеет около 8 миллиардов параметров, относится к текстовым моделям и обучалась с применением подхода C-RLFT на данных смешанного качества. README не указывает точный размер контекстного окна и перечень поддерживаемых языков. Для работы рекомендуется шаблон подсказок на основе формата Llama 3; сервер оптимизирован для высокой пропускной способности и, согласно README, может запускаться на потребительском GPU с 24 ГБ памяти. Квантизация снижает требования к ресурсам, но конкретные варианты GGUF могут различаться по размеру и качеству. Сильными сторонами заявлены производительность на уровне открытых 8B-моделей и улучшенное следование инструкциям и few-shot-шаблонам по сравнению с некоторыми альтернативами. Ограничениями являются зависимость качества и скорости от выбранного типа квантизации, а также отсутствие в предоставленных данных подробных результатов тестирования, точного контекстного окна и языкового охвата. Репозиторий распространяется по лицензии Llama 3; условия её применения следует учитывать при использовании модели.

MaziyarPanahi/OpenHermes-2.5-neural-chat-v3-2-Slerp-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/OpenHermes-2.5-neural-chat-v3-2-Slerp методом SLERP. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в формате диалога. Контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других задач генерации текста по запросу. Она распространяется под лицензией Apache-2.0. В README и метаданных не приведены отдельные результаты оценки качества или сведения о поддержке конкретных естественных языков.

Pareto — мультимодальная составная модель, предназначенная для исследований, программирования и агентных сценариев. По карточке модели, она рассчитана на широкий круг задач общего назначения и заявляет высокий уровень производительности. Метаданные каталога относят её к моделям типа image-text-to-text, поэтому она принимает изображения и текст и формирует текстовые ответы. Сведений об архитектуре, размере, языковой поддержке и лицензии в доступных данных нет. Карточка позиционирует модель для исследовательских и агентных рабочих процессов, но не описывает конкретные возможности, ограничения или условия применения.

bartowski/Phi-3.1-mini-128k-instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели Phi-3.1-mini-128k-instruct, разработанной Microsoft и подготовленной для распространения пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, выполнение инструкций и задачи, связанные с обработкой естественного языка и кодом. Модель работает с текстом, заявлена поддержка английского языка, а контекстное окно составляет до 128 000 токенов. Доступны варианты от F32 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-разновидностей; размер файлов варьируется примерно от 1,42 до 15,29 ГБ. Более высокие варианты квантования обеспечивают лучшее сохранение качества, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск через llama.cpp и совместимые приложения, включая LM Studio. В README не приведены результаты тестирования, точные сведения об архитектуре, аппаратные требования или ограничения по применению, поэтому её возможности нельзя оценить за пределами указанных сценариев. Для модели указана лицензия MIT.

Phi-3.5-mini-instruct-IMat-GGUF — это GGUF-квантизованная версия модели microsoft/Phi-3.5-mini-instruct, подготовленная legraphista с использованием llama.cpp b3608. Модель предназначена для генерации текста в формате инструкций, диалоговых сценариев и задач обработки естественного языка, включая работу с кодом. В README указана поддержка multilingual-сценариев, однако конкретный перечень языков не приведён. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и ряда IQ-квантизаций размером примерно от 1,42 до 7,64 ГБ. Для многих вариантов с низкой разрядностью применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели; файлы предоставляются в формате GGUF и подходят для использования с совместимыми инструментами, включая llama.cpp. Точная архитектура, число параметров и размер контекста в README не указаны. Сильной стороной модели является широкий выбор уровней квантизации, позволяющий подобрать компромисс между качеством, скоростью и требованиями к памяти, а также наличие IMatrix для ряда компактных вариантов. Ограничения связаны с возможной потерей качества при агрессивной квантизации и отсутствием сведений о целевых метриках и производительности. Модель распространяется по лицензии MIT; исходная модель принадлежит Microsoft.

Qwen1.5-1.8B-Chat-GPTQ-Int4 — чат-модель из семейства Qwen1.5, разработанного командой Qwen. Это авторегрессионная языковая модель для генерации текста и диалоговых сценариев: виртуальных ассистентов, ответов на вопросы, написания и преобразования текста, а также работы с естественными языками и кодом. Модель прошла supervised fine-tuning и direct preference optimization для улучшения соответствия пользовательским предпочтениям. Модель основана на decoder-only архитектуре Transformer и содержит 1,8 млрд параметров. Вариант GPTQ-Int4 использует 4-битное квантование, что снижает требования к памяти и делает модель более подходящей для локального запуска. Указаны поддержка нескольких естественных языков и кода, текстовая модальность и контекст до 32K токенов. Для beta-версии Qwen1.5 заявлены SwiGLU, смещения в QKV attention и улучшенный токенизатор; group query attention и сочетание sliding window attention с полной attention в этой версии временно не включены, кроме модели 32B. Сильные стороны модели — небольшой размер, квантование, поддержка многоязычных сценариев и диалоговая настройка. Ограничения связаны с относительно малым числом параметров, возможными проблемами при переключении языков и более низкой точностью по сравнению с крупными моделями семейства. Модель распространяется по лицензии Tongyi Qianwen Research License; точные условия следует проверять в файле лицензии репозитория.

ThomasBaruzier/Qwen2.5-1.5B-Instruct-GGUF — набор imatrix-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen. Репозиторий предназначен для запуска через llama.cpp и содержит варианты с разными уровнями сжатия, размером примерно от 417 МБ до 1,57 ГБ, а также версию F16 размером 2,95 ГБ. Модель представляет собой причинную текстовую модель на 1,54 млрд параметров с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, GQA и связанными эмбеддингами слов. Она предназначена для диалогов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Полный контекст составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Ключевое преимущество репозитория — широкий выбор квантизаций, позволяющий выбирать между компактным размером и сохранением качества; для вариантов указаны показатели perplexity и относительной точности. Ограничениями являются небольшой по современным меркам размер модели и ожидаемое снижение качества у наиболее агрессивно сжатых вариантов. Модель распространяется по лицензии Apache-2.0.

Downtown-Case/Qwen2.5-32B-EVA-Instruct-Merge-0.1 — объединённая языковая модель на базе Qwen2.5-32B, созданная методом della с помощью mergekit. В объединение вошли EVA-Qwen2.5-32B версий 0.0 и 0.1, а также Qwen2.5-32B-Instruct; в качестве базовой модели при слиянии использовалась Qwen2.5-32B. Модель предназначена для генерации текста и диалогового взаимодействия. Она имеет плотную архитектуру Qwen2ForCausalLM, содержит 32 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка указывает интерфейс для вызова инструментов. Карточка не описывает отдельную специализацию или проверенные преимущества слияния; качество ответов и работы с инструментами следует оценивать на целевых сценариях. Модель распространяется в формате safetensors. Лицензия в предоставленных данных не указана.