II.2Создание и понимание программного кода

32B-Qwen2.5-Kunou-v1-GGUF — это набор квантизированных моделей для генерации текста, созданный пользователем bartowski на основе Sao10K/32B-Qwen2.5-Kunou-v1. Модель предназначена для диалогов и других сценариев текстовой генерации; в README приведён шаблон промпта в формате ChatML с ролями system, user и assistant. Модель имеет размер 32B параметров и поставляется в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Доступны варианты от F16 до низкоразрядных Q2 и IQ-квантизаций объёмом примерно от 13 до 66 ГБ. Старшие варианты сохраняют более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству; для большинства сценариев рекомендуются варианты Q4_K_M, Q5 или Q6. Сведения о поддерживаемых языках, максимальном контексте и мультимодальности в README не указаны. К преимуществам относятся широкий выбор квантизаций, возможность локального запуска и использование imatrix-квантизации, направленной на сохранение качества. Ограничения зависят от выбранного варианта и доступных аппаратных ресурсов; низкоразрядные сборки имеют более низкое качество, а полноразмерная F16-версия требует значительного объёма памяти. Лицензия указана как qwen и other; в README приведена ссылка на лицензию Qwen/Qwen2.5-32B-Instruct.

Lionelglo/aion-agnostic-engineer-v2 — языковая модель для генерации текста, опубликованная на Hugging Face и предназначенная для использования через библиотеку Transformers. README модели автоматически сгенерирован и не содержит сведений о разработчике, обучении или точной специализации; в метаданных модель помечена как conversational и относится к семейству Qwen2. Модель имеет 3,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Её можно применять для диалогов, генерации ответов, написания и преобразования текстов, а также интеграции в приложения на базе Transformers. Метаданные указывают задачу text-generation и форматы transformers и safetensors. README не содержит результатов оценки, описания обучающих данных, сведений о языках, лицензии или рекомендаций по безопасному применению. Поэтому качество на конкретных языках и доменах, устойчивость ответов и пригодность для критически важных сценариев по имеющимся данным подтвердить нельзя.

Beacon Qwen 2 7B Instruct — разговорная языковая модель семейства Qwen2, представленная в формате safetensors. README описывает Activation Beacon как подключаемый модуль для трансформерных LLM, предназначенный для эффективного сжатия длинного контекста; данных о том, как именно модуль связан с весами этой модели, нет. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и рассчитана на генерацию текста в чат-сценариях. В карточке указана лицензия MIT. README предупреждает, что превышение заданной длины контекста может привести к ошибкам или снижению производительности.

DeepSeek-R1-0528-Qwen3-8B-GGUF — квантизированная GGUF-версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной командой DeepSeek. Квантизацию выполнил bartowski на основе llama.cpp, а модель распространяется в рамках сообщества LM Studio. Модель предназначена для генерации текста и задач, требующих рассуждений, включая математические задачи и другие сценарии, где важна способность выстраивать цепочку рассуждений. Она создана посредством дистилляции chain-of-thought из DeepSeek-R1-0528 в базовую модель Qwen3 8B. Заявлена поддержка контекста до 128 тысяч токенов и передовые результаты среди открытых моделей на AIME24. Модель относится к текстовым генеративным моделям; сведения о поддерживаемых языках и конкретной архитектуре, помимо основы Qwen3 8B, в README не приведены. Квантизированный формат может быть удобен для локального запуска, однако README не уточняет уровень квантизации, требования к памяти и производительность. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию. Лицензия модели указана как MIT.

DeepSeek-R1-Distill-Qwen-7B-GGUF — это квантизированная в формате GGUF версия модели DeepSeek-R1-Distill-Qwen-7B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp, релиз b4514. Модель предназначена для генерации текста, прежде всего для задач рассуждения и сценариев, где требуется пошаговый анализ. Модель поддерживает контекст длиной до 128 тысяч токенов и ориентирована на использование дистиллированных возможностей reasoning-модели DeepSeek-R1. Формат GGUF и совместимость с llama.cpp упрощают локальный запуск, однако квантизация может влиять на качество и точность по сравнению с исходной моделью. Языки и точный вариант квантизации в README не указаны. Как и другие генеративные модели, она может выдавать неточные, вредные или вводящие в заблуждение ответы. Лицензия в предоставленных данных не указана.

Dumpling-Qwen2.5-32B-GGUF — это квантованные файлы языковой модели Dumpling-Qwen2.5-32B, подготовленные пользователем bartowski на базе модели nbeerbower. Модель предназначена для генерации текста и локального запуска через llama.cpp, в частности в LM Studio. Она может использоваться для диалогов, написания и преобразования текстов, ответов на вопросы и других сценариев текстовой генерации, поддерживаемых базовой моделью. Модель содержит 32 миллиарда параметров и распространяется в формате GGUF с вариантами от BF16 до низкобитных квантований Q2–Q8 и IQ. Размер файлов составляет примерно от 13,71 до 65,54 ГБ. Для квантования применялась imatrix с использованием llama.cpp. В README не указаны точный контекст, перечень поддерживаемых языков и мультимодальные возможности; по заявленному pipeline_tag это текстовая, а не мультимодальная модель. Для работы рекомендуется использовать соответствующий шаблон prompt с маркерами Qwen. Сильной стороной является широкий выбор квантований, позволяющий подобрать баланс между качеством, скоростью и требованиями к памяти; варианты Q5 и Q6 отмечены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию. Более компактные варианты экономят память, но могут заметно снижать качество. Модель лицензирована по Apache-2.0.

Qwythos-9B-v2-GGUF — это квантизированная версия языковой модели Qwythos-9B-v2, разработанной Empero AI. Представлена в формате GGUF и подготовлена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов и задач, требующих рассуждений; в метаданных также указаны поддержка английского языка, long-context и uncensored-настройка. Модель имеет около 9 млрд параметров и распространяется в нескольких вариантах точности: от bf16 и Q8_0 до более компактных Q2–Q6 и IQ-квантов. Размер файлов составляет примерно от 5,1 до 18,4 ГБ. Квантование позволяет запускать модель локально через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты, выбирая компромисс между качеством и требованиями к памяти. Точная архитектура, максимальная длина контекста и перечень поддерживаемых модальностей в README не указаны; по имеющимся данным это текстовая модель без заявленной поддержки изображений, аудио или видео. Сильные стороны модели — локальный запуск, широкий выбор квантов и возможность подобрать вариант под доступный объём RAM или VRAM. Более высокие варианты, включая Q6_K_L, Q6_K, Q5 и Q4_K_M, ориентированы на сохранение качества, тогда как Q3 и Q2 подходят для систем с ограниченными ресурсами, но дают более низкое качество. Модель распространяется по лицензии Apache-2.0.

Gemma-2-27B-it-SimPO-37K-100steps-GGUF — набор GGUF-квантизаций модели AALF/gemma-2-27b-it-SimPO-37K-100steps, подготовленный пользователем bartowski с помощью llama.cpp и imatrix. Это текстовая instruction-tuned модель для генерации ответов по запросам, диалога и других задач обработки текста; запуск предусмотрен через llama.cpp и совместимые приложения, включая LM Studio. Модель имеет заявленный размер 27 млрд параметров и поставляется в вариантах от F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Более точные варианты обеспечивают лучшее сохранение качества, но требуют больше памяти; компактные варианты подходят для систем с ограниченным объёмом RAM, при этом качество снижается. Для ARM доступны специальные варианты Q4_0, требующие поддержки соответствующих инструкций процессора. В README не указаны поддерживаемые языки, размер контекста, мультимодальные возможности и результаты оценивания. К сильным сторонам относятся широкий выбор размеров файлов, возможность локального запуска и применение imatrix-квантования, а также наличие высококачественных вариантов Q6_K_L и Q6_K. Ограничения связаны с существенными требованиями к памяти у крупных вариантов и неизбежной потерей качества при сильном квантовании; сравнительные показатели и область наилучшего применения не приведены. Модель распространяется по лицензии Gemma.

GLM-4.7-Flash-FP8 — это FP8-квантизированная версия модели GLM-4.7-Flash, разработанной zai-org. Модель предназначена для задач генерации текста и инференса через библиотеку Transformers и сервер vLLM; в README также указана поддержка архитектуры glm4_moe_lite, что указывает на использование MoE-подхода. Сведения о поддерживаемых языках и модальностях отсутствуют. Квантизация выполнена методом FP8 E4M3 с масштабами, встроенными в тензоры. Размер исходной модели в формате BF16 составляет около 62 ГБ, квантизированной версии — около 30 ГБ. В формате BF16 сохранены lm_head, embed_tokens, layernorms и веса маршрутизатора. В README приведён контекст длиной 8192 токена: на двух видеокартах RTX 3090 по 24 ГБ модель потребляла около 14,7 ГБ VRAM на GPU и достигала пропускной способности 19,4 токена в секунду при использовании vLLM 0.13.0 и tensor parallelism на двух GPU. Основное преимущество модели — существенно меньший объём хранения и потребление видеопамяти по сравнению с версией BF16 при сохранении ключевых компонентов в BF16. На GPU с аппаратной поддержкой FP8, включая RTX 40xx и более новые Ada Lovelace, ожидается более высокая производительность; RTX 3090 использует Marlin kernel для распаковки весов. Для запуска требуются vLLM версии 0.13.0 или новее и Transformers 5.0 или новее. Ограничения включают зависимость от совместимого оборудования и программного стека, а также отсутствие в README подробностей о качестве, результатах бенчмарков, языковой поддержке и максимальном контексте базовой модели. Лицензия — MIT.

GLM-4.7-Flash-MLX-4bit — это 4-битная квантизированная версия языковой модели GLM-4.7-Flash, разработанной организацией zai-org. Квантизация выполнена командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon в экосистеме MLX. Модель предназначена для генерации текста и может использоваться в сценариях, поддерживаемых библиотекой Transformers и инструментами MLX, включая локальный запуск на совместимых компьютерах Apple. В README заявлена поддержка английского и китайского языков. Модель относится к текстовой модальности; сведения о размере, конкретной архитектуре и максимальной длине контекста не указаны. Ключевое преимущество версии — снижение требований к памяти и вычислительным ресурсам за счёт 4-битной квантизации и оптимизации под Apple Silicon. При этом квантизация может влиять на точность и качество генерации по сравнению с исходной моделью, а фактическая производительность зависит от оборудования и настроек запуска. Модель распространяется по лицензии MIT.

Hermes-2-Pro-Mistral-7B-8bit — 8-битная версия модели Hermes-2-Pro-Mistral-7B, подготовленная mlx-community и преобразованная в формат MLX для запуска через mlx-lm. Модель основана на Mistral-7B-v0.1 и дообучена NousResearch; она предназначена для диалогов и следования инструкциям, включая сценарии вызова функций и выдачи JSON. Модель имеет плотную архитектуру MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов. В карточке указана поддержка английского языка. Репозиторий лицензирован по Apache-2.0. README отсылает за подробностями к карточке исходной модели, поэтому специфические характеристики и ограничения Hermes-2-Pro здесь не раскрыты.

Hermes-2 Θ (Theta) — экспериментальная объединённая и дополнительно обученная модель Nous Research, созданная совместно с Charles Goddard из Arcee. В основе лежит Hermes-2-Pro-Llama-3-8B: веса объединены с Meta Llama 3 Instruct, после чего модель дополнительно обучали с помощью RLHF. Это плотная причинно-языковая модель семейства Llama с 7,5 млрд параметров и контекстом 8192 токена. Модель предназначена для диалогов и выполнения инструкций на английском языке. Она поддерживает формат ChatML, многоходовое общение, вызов функций и генерацию структурированных ответов в JSON. Репозиторий содержит веса safetensors; для запуска описан пример с Transformers. В карточке приведены результаты оценок на нескольких наборах тестов, но они не гарантируют качество в конкретных сценариях. Модель распространяется по лицензии Apache-2.0. Практические ограничения: карточка называет её экспериментальной; вызовы инструментов нужно самостоятельно разбирать и исполнять в коде приложения. Указанная в README рекомендация LM Studio относится к квантованным версиям и не обещает поддержку вызова функций в этом интерфейсе.

Hermes-3-Llama-3.1-70B-lorablated-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Hermes-3-Llama-3.1-70B-lorablated, разработанной на базе Llama 3.1 и опубликованной mlabonne. Квантизации подготовлены пользователем bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия. Она поддерживает запуск через llama.cpp и LM Studio; в README также приведён специальный шаблон промпта с ролями system, user и assistant. Доступно множество вариантов квантизации от Q8_0 до IQ1_M, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Размеры указанных файлов составляют примерно от 19 до 75 ГБ. Сильной стороной набора является возможность локального запуска крупной 70B-модели с разным уровнем сжатия; варианты Q6_K, Q5_K_M и некоторые Q4 рекомендуется использовать для высокого качества. Более компактные варианты требуют меньше памяти, но снижают качество генерации. В README не указаны поддерживаемые языки, размер контекстного окна, точные архитектурные характеристики, мультимодальные возможности и лицензия, поэтому эти свойства нельзя достоверно определить по представленным данным.

Huihui-Qwen3.5-9B-abliterated-GPTQ-Pro-4bit-g64 — это квантизированный GPTQ-Pro чекпойнт, опубликованный groxaxo на базе huihui-ai/Huihui-Qwen3.5-9B-abliterated. Модель предназначена для генерации текста, локального или размещённого инференса, открытой оценки и воспроизводимых экспериментов. README указывает англоязычную конфигурацию и совместимость с Transformers, GPTQModel и vLLM при поддержке соответствующего формата и архитектуры. Модель содержит около 9 миллиардов параметров в 4-битном представлении GPTQ-Pro с размером группы 64. Для квантизации использовались 128 калибровочных образцов. По сравнению с исходной моделью заявлены близкие показатели языкового моделирования: perplexity на Wikitext-2 составляет 9,6579 против 9,5234 у оригинала, средняя деградация — 1,41%, KL-дивергенция — 0,03423, совпадение наиболее вероятного следующего токена — 91,96%, а совпадение в топ-5 — 99,98%. Квантизация должна заметно снизить потребление памяти, однако фактические требования зависят от длины контекста, размера кэша, параллелизма и аппаратной конфигурации. Сильной стороной модели является сохранение поведения исходного чекпойнта при более эффективном использовании памяти. Ограничения включают возможное изменение числового поведения, качества и пропускной способности после квантизации, а также необходимость проверять результаты на собственных задачах. Название базовой модели указывает на модифицированную или сниженную фильтрацию, но README не гарантирует одинаковое поведение для всех запросов. Лицензия обозначена как other; для условий использования и распространения необходимо изучить карточку базовой модели. Мультимодальность и размер контекста в README не указаны.

internlm2_5-20b-chat-IMat-GGUF — это GGUF-квантизованная версия чат-модели internlm/internlm2_5-20b-chat, подготовленная legraphista с использованием llama.cpp (сборка b3524). Исходная модель имеет формат BF16, а в репозитории доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и более компактных IQ-квантизаций. Некоторые варианты используют IMatrix для калибровки квантования, что рассчитано на более эффективное сохранение качества при уменьшении размера модели. Модель предназначена для локального запуска задач генерации текста и чат-взаимодействия через совместимые инструменты, включая llama.cpp. Доступны файлы размером примерно от 7,55 до 39,73 ГБ, поэтому требования к оперативной или видеопамяти зависят от выбранного варианта. Ключевые характеристики исходной архитектуры, поддерживаемые языки, размер контекста, результаты тестирования и конкретные сильные стороны в README не указаны; качество и скорость также будут зависеть от уровня квантования и оборудования. Лицензия обозначена как other, без дополнительных условий в представленном README.

Kanana 1.5 8B Base — базовая языковая модель семейства Kanana, разработанная Kakao Corp. Это плотная авторегрессионная модель на архитектуре Llama с 7,5 млрд параметров, предназначенная для генерации текста и использования в качестве основы для прикладных решений и дальнейшей настройки. Метаданные также указывают поддержку диалогового сценария. Модель подходит для продолжения и генерации текста на английском и корейском языках, включая задачи, связанные с кодом и математикой. Контекстная длина составляет 32 768 токенов; README описывает расширение до 128K с применением YaRN и изменением конфигурации. Kanana 1.5 развивает возможности семейства в программировании, математике и вызове функций, однако в этой карточке приведён именно вариант Base, поэтому качество этих сценариев не следует считать гарантированным без дополнительной настройки. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Llama-3-11B-Instruct-v0.1-GGUF — набор квантованных файлов модели в формате GGUF, подготовленный разработчиком MaziyarPanahi на основе MaziyarPanahi/Llama-3-11B-Instruct-v0.1. Модель предназначена для генерации текста и использования в диалоговых сценариях, включая запуск через совместимые инструменты, такие как llama.cpp. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством работы. Модель относится к семейству Llama 3 и требует использования соответствующего шаблона промпта с управляющими токенами Llama 3. В README не указаны поддерживаемые языки, размер контекста, точная архитектура базовой модели, результаты оценки, лицензия и ограничения использования.

Llama3.3-70B-CogniLink-i1-GGUF — квантизированная GGUF-версия модели Daemontatox/Llama3.3-70B-CogniLink, подготовленная mradermacher. Это текстовая языковая модель семейства Llama с 70 миллиардами параметров, ориентированная на генерацию текста, выполнение инструкций и задачи, требующие рассуждений. Модель обучалась с использованием наборов данных Daemontatox/Deepthinking-COT и gghfez/QwQ-LongCoT-130K-cleaned; заявленный язык — английский. Поддержка других языков, мультимодальность и размер контекстного окна в README не указаны. Модель предназначена для локального запуска в приложениях и средах, совместимых с форматом GGUF. Доступно множество вариантов квантизации размером примерно от 15,4 до 58 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством; README отмечает, что вариант i1-Q4_K_M является быстрым и рекомендуемым, а некоторые низкобитные варианты имеют пониженное качество. К ограничениям относятся возможная потеря качества из-за квантизации, высокие требования к ресурсам у 70B-версии и отсутствие опубликованных в README количественных результатов тестирования. Модель распространяется по лицензии Apache-2.0.

LlongOrca 13B 16K — большая языковая модель Open-Orca, представленная в формате GGUF и квантованная TheBloke. Она основана на архитектуре Llama и предназначена для генерации текста, диалоговых сценариев и локального запуска через совместимые приложения и библиотеки. В описании указана поддержка английского языка, а исходный набор данных — OpenOrca. Модель имеет 13 млрд параметров и контекстное окно до 16K токенов. GGUF поддерживает метаданные, специальные токены и расширяемость; доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Модель совместима с llama.cpp, text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другими инструментами для CPU+GPU-инференса. Для диалогов указан шаблон ChatML. К сильным сторонам относятся увеличенный контекст и возможность локального запуска на широком спектре аппаратных конфигураций благодаря квантованным версиям. Ограничения включают зависимость качества и требований к памяти от выбранного уровня квантования, а также отсутствие в README подробных результатов тестирования и характеристик мультиязычности. Для использования заявлена лицензия llama2; поскольку модель основана на Llama 2, также применяются условия лицензии Meta Llama 2. Вопросы о взаимодействии этих лицензий рекомендуется уточнять в репозитории исходной модели.

LocalAI-io разработала разговорную модель на базе Phi-4, дообученную для диалога и вызова функций в LocalAI. Модель имеет 14,1 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, выдавая текст. Родительская модель указана как unsloth/phi-4-unsloth-bnb-4bit; при дообучении использовались наборы данных для вызова функций, диалога и рассуждений. Контекст модели составляет 16 384 токена. Модель предназначена для диалоговых сценариев и передачи вызовов функций через LocalAI. README отмечает улучшенные возможности рассуждения в стиле o1 в третьей итерации. Репозиторий распространяется под лицензией Apache 2.0. Данных о поддерживаемых языках в карточке мало: метаданные указывают английский язык.

K00B404 объединил две предварительно обученные языковые модели на базе Mistral-7B с помощью mergekit и метода SLERP. Результат — плотная авторегрессионная модель MistralForCausalLM с 7,1 млрд параметров для генерации текста и диалогов; она поддерживает контекст до 32 768 токенов и доступна в формате safetensors для библиотеки Transformers. Модель подходит для генерации продолжений текста и ведения диалогов. В состав объединения вошли EmbeddedLLM/Mistral-7B-Merge-14-v0.1 и K00B404/Merged_Beowolx-CodePro_Medusa2-7B-Mistral-I-v0-2. Карточка не приводит результаты оценки качества или подробные ограничения. Лицензия в предоставленных данных не указана.

NousResearch/Meta-Llama-3-8B-Instruct-GGUF — это инструкция-ориентированная языковая модель в формате GGUF, основанная на Meta Llama 3 и опубликованная NousResearch. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции пользователя, запуск локального вывода и интеграцию в приложения, поддерживающие формат GGUF. В карточке указано, что модель работает с текстом и ориентирована на английский язык. Из доступных данных известны размер базовой модели — 8 миллиардов параметров — и принадлежность к семейству Llama 3. Формат GGUF удобен для локального запуска и использования средствами совместимой экосистемы, однако конкретные варианты квантования, требования к памяти, максимальная длина контекста, архитектурные детали и показатели качества в README не указаны. Ограничениями также являются возможные ошибки и ограничения, характерные для генеративных языковых моделей; область применения и качество для других языков не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. Использование и распространение требуют соблюдения условий этой лицензии и Acceptable Use Policy, а при распространении материалов или продуктов на их основе необходимо предоставить копию соглашения и указать «Built with Meta Llama 3». Для производных моделей предусмотрены дополнительные требования к наименованию, а для продуктов и сервисов с более чем 700 миллионами активных пользователей в месяц требуется отдельное разрешение Meta.

DevQuasar-9/microsoft.Phi-4-mini-instruct-GGUF — это квантизированная версия модели Phi-4-mini-instruct, разработанной Microsoft. Модель предназначена для генерации текста и использования в сценариях, где требуется работа с инструкциями и текстовыми запросами. В карточке указано, что модель относится к классу text-generation и распространяется в формате GGUF, подходящем для совместимого локального запуска. Сведения о точном размере, варианте квантизации, архитектуре, длине контекста, поддерживаемых языках и дополнительных модальностях не приведены. К сильным сторонам относятся уменьшенные требования к хранению и вычислительным ресурсам по сравнению с полной версией, однако квантизация может влиять на качество ответов. Лицензия и условия использования в README не указаны.

Mistral-7B-Instruct-demi-merge-v0.2-7B — плотная языковая модель на архитектуре Mistral, созданная разработчиком grimjim с помощью mergekit. Это слияние методом SLERP предварительно обученной alpindale/Mistral-7B-v0.2-hf и инструкционной mistralai/Mistral-7B-Instruct-v0.2; модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговые ответы по инструкциям. Модель предназначена для чат-ботов, продолжения текста и экспериментов с дальнейшим слиянием или дообучением. Заявлена работа с контекстом до 32 768 токенов без скользящего окна. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

Mistral-7B-v0.1 — предварительно обученная генеративная языковая модель команды Mistral AI с плотной архитектурой Transformer и примерно 7,1 млрд параметров. Она предназначена для генерации продолжения текста и служит базовой моделью для дальнейшей адаптации под конкретные задачи. Модель использует Grouped-Query Attention, Sliding-Window Attention и токенизатор Byte-fallback BPE. Родной контекст составляет 32 768 токенов. Карточка указывает английский язык; модель доступна в форматах PyTorch и safetensors и рассчитана на работу с библиотекой Transformers. По заявлению разработчиков, на проверенных ими бенчмарках модель превосходила Llama 2 13B. Это базовая модель без механизмов модерации, поэтому сгенерированный текст может быть нежелательным или небезопасным. Лицензия — Apache-2.0.

Карточка модели jacobolopez/Mistral-7B-v0.1-sharded на Hugging Face совпадает с карточкой mistralai/Mistral-7B-v0.1, поэтому описание составлено по ней. Mistral-7B-v0.1 — предварительно обученная генеративная языковая модель команды Mistral AI с плотной архитектурой Transformer и примерно 7,1 млрд параметров. Она предназначена для генерации продолжения текста и служит базовой моделью для дальнейшей адаптации под конкретные задачи. Модель использует Grouped-Query Attention, Sliding-Window Attention и токенизатор Byte-fallback BPE. Родной контекст составляет 32 768 токенов. Карточка указывает английский язык; модель доступна в форматах PyTorch и safetensors и рассчитана на работу с библиотекой Transformers. По заявлению разработчиков, на проверенных ими бенчмарках модель превосходила Llama 2 13B. Это базовая модель без механизмов модерации, поэтому сгенерированный текст может быть нежелательным или небезопасным. Лицензия — Apache-2.0.

bartowski/Mistral-NeMo-Minitron-8B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA и преобразованной в GGUF с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через LM Studio и другие совместимые среды локального вывода. Для взаимодействия используется специальный шаблон с ролями System, User и Assistant. Доступны варианты от полноразмерных весов F16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 4,2 до 16,8 ГБ, что позволяет выбирать между качеством, требованиями к памяти и скоростью инференса. Квантизации выполнены с использованием imatrix; версии Q6 и Q5 заявлены как близкие к исходному качеству, а Q4 — как хороший компромисс для ограниченных ресурсов. Отдельные варианты оптимизированы для ARM и требуют соответствующих аппаратных возможностей. README не указывает поддерживаемые языки, размер контекстного окна, точные архитектурные характеристики исходной модели или результаты бенчмарков. Для ARM-оптимизированных вариантов имеются ограничения совместимости: их не рекомендуется использовать на Mac и Windows. Условия лицензирования в предоставленных данных не указаны.

Mixtral-8x22B-v0.1 — базовая генеративная языковая модель семейства Mixtral, разработанная Mistral AI. В этом репозитории размещена конвертированная в формат Transformers версия весов, загруженная сообществом; автор README рекомендует использовать актуальные веса в организации Mistral AI. Модель построена на разреженной архитектуре смеси экспертов (MoE) и предназначена для генерации текста и использования как основа для прикладных решений. Контекст составляет до 65 536 токенов. Карточка указывает поддержку английского, французского, итальянского, немецкого и испанского языков. Для запуска предусмотрены Transformers, а также варианты вычислений в пониженной точности. Это базовая предварительно обученная модель, а не версия Instruct; для диалоговых приложений может потребоваться дополнительная настройка. В README отмечено отсутствие встроенных механизмов модерации. Лицензия — Apache 2.0.

ModernBERT-base — двунаправленная encoder-only модель семейства Transformer в стиле BERT, разработанная в сотрудничестве Answer.AI, LightOn и их коллег. Она предварительно обучена на 2 триллионах токенов английских текстов и кода и предназначена для заполнения пропусков в тексте, а также как основа для прикладных задач понимания языка и поиска. Модель содержит 22 слоя и 149 млн параметров, поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, unpadding и Flash Attention для эффективной обработки длинных последовательностей. Она подходит для анализа длинных документов, классификации, семантического и кодового поиска после настройки под соответствующую задачу. Обучающие данные преимущественно англоязычные и включают код, поэтому качество для других языков может быть ниже. Обработка полного окна контекста может быть медленнее, чем коротких последовательностей; возможны смещения из обучающих данных. Лицензия — Apache-2.0.

Nebula-v2-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 и Nebula-v2-7B методом SLERP. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров, принимает текст и выдаёт текст; максимальный контекст составляет 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Языки в предоставленных данных не перечислены, поэтому нельзя определить, на каких языках она работает лучше всего. README описывает состав и параметры слияния, но не приводит сравнительных оценок качества или подробных ограничений.