II.2Создание и понимание программного кода

ClaudioItaly/QwenTies-7B — слитая методом TIES языковая модель на архитектуре Qwen2 для генерации текста и диалогов. Она объединяет Qwen/Qwen2.5-7B-Instruct и Qwen/Qwen2.5-7B; в README указана база Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговых сценариев и генерации текстовых ответов; метаданные также указывают интерфейс вызова инструментов. Базовая Qwen2.5-7B-Instruct описана как модель для генерации текста, кода и структурированных ответов, но отдельные преимущества этого слияния не приведены. Лицензия в предоставленных данных не указана.

SauerkrautLM Mixtral 8X7B — это языковая модель для генерации текста в формате GGUF, созданная VAGO solutions и квантизированная TheBloke. Модель основана на VAGOsolutions/SauerkrautLM-Mixtral-8x7B, дообучалась с использованием наборов данных Open-Orca/SlimOrca и argilla/distilabel-math-preference-dpo. Она предназначена для диалогов, ответов на запросы и других задач генерации текста, включая локальный запуск на CPU и GPU. Модель использует архитектуру Mixtral и доступна в вариантах GGUF с квантизацией на 2, 3, 4, 5, 6 и 8 бит. README не указывает точное число параметров активной архитектуры или размер контекста. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для взаимодействия используется шаблон ChatML. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильными сторонами являются мультиязычность, возможность выбора степени квантизации и локального запуска, а также поддержка CPU и GPU-инструментов. Квантизация позволяет снизить требования к памяти, однако может уменьшать точность по сравнению с исходной моделью, особенно при более низкой разрядности. Модель предназначена только для текстовой модальности; сведения о специализированных ограничениях качества и безопасности в README не приведены. Лицензия — Apache-2.0.

lmstudio-community/Seed-OSS-36B-Instruct-MLX-8bit — 8-битная квантованная версия языковой модели Seed-OSS-36B-Instruct, разработанной ByteDance-Seed. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon через MLX. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи, поддерживаемые исходной instruct-моделью. В README указаны архитектурная база Seed-OSS-36B-Instruct, размер 36B параметров, текстовая модальность и 8-битное квантование. Сведения о поддерживаемых языках и размере контекстного окна не приведены. Ключевые преимущества — снижение требований к памяти по сравнению с полноразмерной версией и оптимизация для экосистемы Apple Silicon. Ограничения связаны с зависимостью от совместимого оборудования и MLX, а также с общими рисками генеративных моделей: возможны неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Apache-2.0.

Subin_v2 — дообученная и конвертированная в формат GGUF языковая модель, опубликованная azizshaw. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, рассчитанная на генерацию текста в диалоговом режиме; заявленная длина контекста составляет 131 072 токена. В репозитории есть файл llama-3.2-3b-instruct.F16.gguf, а для запуска предлагаются llama.cpp и Ollama. Модель подходит для диалоговых ответов и генерации текста. README не описывает специализацию, обучающие данные или конкретные языки, поэтому её следует считать моделью общего назначения. Доступны варианты GGUF BF16 и F16. Сведения о лицензии в предоставленных данных отсутствуют.

vanillaOVO/supermario_v2 — объединённая предварительно обученная языковая модель, созданная с помощью DARE и mergekit. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; для работы доступны веса safetensors и загрузка через Transformers. Модель предназначена для генерации текста и может использоваться в приложениях, которым нужны ответы на запросы и продолжение текста. README сообщает о слиянии моделей, но не раскрывает состав слияния, целевые сценарии или языки обучения, поэтому нельзя приписать ей специализированные возможности или основной язык. Лицензия — Apache-2.0.

Dragoy/Swift-Qwen3.8-27B-abliterated-NVFP4-NInfer — мультимодальная производная модель на 27,78 млрд параметров, разработанная Dragoy на основе ukisai/Swift-Qwen3.8-27b. Модель поддерживает обработку текста и изображений с генерацией текста; в артефакт включены vision tower, MTP-head и DFlash2-drafter. Из модели удалено направление отказов в стиле huihui-ai, поэтому она ориентирована на более свободное выполнение запросов, включая сценарии, в которых исходная модель могла отказывать. Поддерживаются ускоренное speculative decoding через MTP и DFlash2, а также серверный режим NInfer. README не указывает поддерживаемые языки и максимальную архитектурную длину контекста; в примерах используется контекст до 16 384 токенов. Веса квантованы в формате NVFP4 для MLP-компонентов и FP8 для attention, GDN и lm_head. Артефакт предназначен для запуска через NInfer на видеокартах NVIDIA Blackwell с архитектурой sm_120a; требуется CUDA версии не ниже 13.1 и совместимый runtime NInfer, для актуальной сборки — ревизия не ниже 98dada0e. Заявлен запуск примерно в пределах 20 ГБ видеопамяти на одной карте. К сильным сторонам относятся мультимодальность, низкая разрядность, поддержка спекулятивного декодирования и отсутствие отказов в заявленном тесте AdvBench, однако удаление отказов снижает встроенные защитные ограничения и может повышать риски небезопасного использования. Модель распространяется по лицензии Swift Open License 1.0.

TheUnderscore/Swift-Qwen3.8-27b-W4A16-AWQ — квантизированная версия модели Swift-Qwen3.8-27b от UkisAI, подготовленная в формате AWQ с использованием compressed-tensors. Модель относится к семейству Qwen3.5/Qwen3.8 и предназначена для генерации текста и мультимодальных сценариев image-text-to-text, где требуется обработка изображений и текста. В репозитории указана библиотека Transformers, а запуск протестирован с LMDeploy Turbomind. Основная часть линейных весов представлена в формате W4A16: используются 4-битные асимметричные веса с размером группы 128 и 16-битные активации. Эмбеддинги, lm_head, нормализации, отдельные компоненты linear attention, vision tower и MTP head сохранены в BF16. Размер базовой модели — 27 млрд параметров. Архитектура использует гибридное внимание, а параметры модели и рекомендуемые настройки генерации унаследованы от базовой версии; поддерживаемые языки и максимальный размер контекста в README не указаны. Ключевое преимущество версии — существенное снижение требований к памяти за счёт W4A16-квантизации при сохранении полной точности отдельных мультимодальных и вспомогательных компонентов. Для запуска рекомендуется LMDeploy Turbomind с форматом compressed-tensors; пример конфигурации использует tensor parallelism с tp=2. Ограничения включают необходимость gated-доступа к весам Swift и потенциальные особенности совместимости с поддерживаемым программным стеком; отдельные количественные оценки качества после квантизации не приведены. Модель распространяется по лицензии Swift Open License v1.0. Персональное, исследовательское, образовательное, оценочное и коммерческое использование бесплатно для физических и юридических лиц с годовой регулярной выручкой, включая аффилированные организации, до 1 000 000 долларов США. При превышении этого порога для коммерческого использования требуется отдельная Swift Enterprise License.

TabiBERT — энкодерная трансформерная языковая модель в стиле BERT, разработанная TABILAB при поддержке VNGRS. Она основана на архитектуре ModernBERT-base и содержит 148,8 млн параметров. Модель обучена преимущественно на турецких текстах, а также на английском языке, коде и математических данных; поддерживает контекст до 8192 токенов. В архитектуре используются RoPE, чередование локального и глобального внимания, GeGLU и Flash Attention. Модель предназначена для заполнения пропусков и может служить основой для дообучения под задачи классификации, извлечения ответов на вопросы, NLI, поиска и представления кода, а также семантического поиска по длинным документам. В описанной авторами оценке на турецком бенчмарке TabiBench она показала высокие результаты, включая задачи поиска и QA. Репозиторий содержит веса Safetensors для использования через Transformers. Лицензия — Apache-2.0. По README, качество модели на английском может уступать качеству на турецком, а на других языках — быть ниже; возможны унаследованные от обучающих данных смещения. Обработка последовательностей близких к 8192 токенам может быть медленнее, и авторы рекомендуют проверять результаты перед применением в критических сценариях.

Tower+ 2B — многоязычная языковая модель Unbabel на архитектуре Gemma 2, дообученная на базе google/gemma-2-2B. Обучение включало продолжение предобучения, настройку на инструкции, оптимизацию предпочтений WPO и GRPO с проверяемыми вознаграждениями. Модель содержит около 2,7 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Модель предназначена прежде всего для машинного перевода и других многоязычных задач, а также для выполнения инструкций, включая задачи на рассуждение и код. Её можно применять для создания синтетических многоязычных данных: переводить инструкции и ответы или генерировать инструкции по документам. Поддерживается 26 языков и вариантов языков, включая русский, английский, китайский, немецкий, испанский, французский, португальский, украинский, хинди и японский. Модель выдаёт текст; архитектура — плотная причинная языковая модель Gemma 2. В README особо отмечена её специализация на машинном переводе и сильные возможности в многоязычных задачах. Лицензия в метаданных указана как CC-BY-NC-SA-4.0, тогда как README указывает CC-BY-NC-4.0, поэтому условия распространения следует сверять с актуальной лицензией репозитория.

Это GGUF-версия модели unsloth/Phi-3.5-mini-instruct, подготовленная пользователем legraphista с применением квантизации llama.cpp и метода IMatrix. Исходная модель Phi-3.5-mini-instruct связана с Microsoft; базовый тип данных указан как BF16. Модель предназначена для генерации текста и диалоговых сценариев, включая использование через llama.cpp и совместимые локальные инструменты. Доступны варианты от BF16 и F16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая несколько специализированных форматов. Размер файлов варьируется примерно от 1,45 до 7,64 ГБ, что позволяет выбирать между качеством и требованиями к ресурсам. Для ряда вариантов Q4 и более низкой точности применена IMatrix, призванная уменьшить потери качества при квантизации. В README указана поддержка multilingual, однако конкретный перечень языков, архитектура, число параметров и размер контекста не приведены. Основные преимущества модели — наличие множества квантизированных вариантов, пригодных для локального запуска, и использование формата GGUF, ориентированного на экосистему llama.cpp. Ограничения включают возможное снижение качества в низкобитных вариантах и отсутствие подробных сведений о производительности, языковых возможностях и системных требованиях. Репозиторий распространяется по лицензии MIT; ссылка на лицензию исходной модели ведёт к Microsoft.

Xing4.0-29B-A4B-CRACK-GGUF — набор GGUF-квантизированных версий модели Xing4.0-29B-A4B, подготовленный dealignai на базе модели XingChen-AGI/China Telecom AI. Это reasoning-модель с архитектурой Mixture of Experts: 29 млрд общих параметров, около 4 млрд активных при генерации, 64 маршрутизируемых эксперта с выбором 4 экспертов и одним общим. Модель предназначена для генерации текста и запуска через llama.cpp, включая локальные сценарии с ограниченными ресурсами. Доступны семь вариантов квантизации размером примерно от 12,9 до 30,9 ГБ. Архитектура включает MLA с параметрами q_lora=768 и kv_lora=512, mHC Hyper-Connections с четырьмя каналами, MTP-head, 40 слоёв и скрытое представление размерностью 3584. Заявлена поддержка контекста до 256K токенов, с масштабированием до 512K через YARN. В README явно указаны китайский язык и данные калибровки imatrix на основе WikiText-2, исходного кода и китайской Википедии; полный набор поддерживаемых языков не приведён. Для работы требуется специальная ветка shuxiaoqiong/llama.cpp с портом xing4_0. Сильной стороной модели заявлено существенное снижение отказов и ограничений безопасности на уровне весов, однако это одновременно означает повышенные риски при использовании в чувствительных или вредоносных сценариях. Качество зависит от выбранной квантизации: в приведённых тестах MMLU составляет от 55,5% до 68,2%, а результаты более компактных вариантов ниже. Ограничения включают необходимость совместимого runtime, значительный объём памяти и возможную потерю качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

S4sch/zephyr-neural-chat-frankenmerge11b — языковая модель для генерации текста, созданная путём объединения слоёв HuggingFaceH4/zephyr-7b-beta и Intel/neural-chat-7b-v3-1 с помощью mergekit. В сборке чередуются диапазоны слоёв обеих моделей; указанный в метаданных размер — 11,3 млрд параметров, архитектура — плотная MistralForCausalLM, формат весов — safetensors. Модель поддерживает контекст длиной до 32 768 токенов. Она предназначена для генерации текста и диалогового применения на основе объединённых моделей Zephyr и Neural Chat. В карточке не приведены отдельные оценки качества, описание поведения или перечень поддерживаемых языков. Лицензия — Apache-2.0.

Это исследовательская резервная копия чекпойнта для генерации текста в стандартном формате Hugging Face. Модель построена на плотной архитектуре Qwen2ForCausalLM и содержит 7,1 млрд параметров; для загрузки используется Transformers. Метаданные указывают контекст до 131 072 токенов и возможности чата и интерфейса вызова инструментов. Модель подходит для диалоговой генерации текста и сценариев с вызовом инструментов. README называет её резервным исследовательским артефактом, поэтому сведений о специализации, обучающих данных и качестве для конкретных задач нет. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия conversational-модели datagemma-rig-27b-it, исходно разработанной Google. Релиз подготовлен пользователем legraphista с применением llama.cpp и предназначен для локального запуска и генерации текста в диалоговых сценариях. В основе лежит модель размером 27 млрд параметров в формате BF16; исходная карточка указывает текстовую генерацию, но не сообщает поддерживаемые языки и размер контекстного окна. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая форматы IQ. Квантизация позволяет выбирать компромисс между качеством, размером файла и требованиями к памяти: размеры файлов варьируются примерно от 10,45 до 54,46 ГБ. Для ряда вариантов применена IMatrix-квантизация, рассчитанная на сохранение качества при уменьшенной точности; BF16, FP16, Q8_0 и Q6_K используют статические варианты без IMatrix. Модель предназначена для работы через llama.cpp и совместимые инструменты, однако конкретные системные требования и показатели качества в README не указаны. Использование регулируется лицензией Gemma от Google; для доступа на Hugging Face требуется принять условия лицензии. Ограничения, связанные с безопасностью, точностью ответов и конкретными сценариями применения исходной модели, в представленных данных не описаны.

Dolphin Llama 13B — языковая модель команды Dolphin на архитектуре Llama 1 с 12,9 млрд параметров. Она дообучена на открытой реализации датасета Orca: инструкциях FLANv2 с ответами GPT-3.5 и GPT-4. Модель предназначена для диалогов и выполнения разнообразных инструкций; формат запросов включает поля SYSTEM, USER и ASSISTANT. Контекст составляет 2048 токенов. В карточке модель описана как uncensored: при подготовке данных удаляли примеры отказов, избегания и выравнивания. Это позволяет настраивать поведение модели собственным alignment-слоем, но также означает, что без дополнительной фильтрации она может отвечать на вредоносные запросы. Модель основана на Llama 1 и предназначена только для некоммерческого использования; лицензия в метаданных указана как other.

FewShotIssueClassifier-NLBSE23 — модель на базе SetFit и Sentence Transformers, разработанная для классификации отчётов об ошибках в четырёх категориях: bug, documentation, feature и question. Она дообучена на размеченной вручную части набора NLBSE23 и кодирует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов и кластеризации. Модель построена на архитектуре MPNet, содержит 136,7 млн параметров и принимает текст с контекстом до 514 токенов. Основной сценарий — классификация сообщений об ошибках и запросах в проектах; векторы также пригодны для семантического поиска и группировки похожих отчётов. Поддерживаемый язык карточки — английский. Модель распространяется по лицензии GPL-3.0.

Gaston_Yi-1.5-9B-Chat — диалоговая языковая модель, опубликованная baconnier и дообученная на основе 01-ai/Yi-1.5-9B-Chat. Это плотная модель семейства Llama с 8,6 млрд параметров, предназначенная для генерации текста в формате чата. Обучение проводилось с использованием Unsloth и библиотеки TRL. Модель подходит для диалоговых ответов и генерации текста; базовая Yi-1.5-9B-Chat также рассчитана на следование инструкциям, рассуждения, математику и программирование. Поддерживается контекст до 8192 токенов. В карточке указан английский язык и лицензия Apache 2.0.

m8than/gemma-2-9b-it — разговорная языковая модель семейства Gemma 2, размещённая пользователем m8than. Репозиторий содержит модель на 9 млрд параметров в формате safetensors; в метаданных указана архитектура Gemma2ForCausalLM и библиотека Transformers. Модель принимает текст и предназначена для генерации текста в диалоге; карточка также описывает сценарии дообучения Gemma 2 с помощью Unsloth и содержит ссылки на ноутбук для Colab. Заявленная длина контекста — 8192 токена. Метаданные указывают английский язык. В README сказано, что модель напрямую квантизирована в 4 бита с bitsandbytes; репозиторий помечен лицензией Gemma. Данных о сравнительных качествах и конкретных ограничениях модели в карточке нет.

ark4004/gemma3.8-27B-FP8 — репозиторий на Hugging Face, опубликованный пользователем ark4004. По истории репозитория он является копией Qwen/Qwen3.8-27B-FP8, поэтому название Gemma не подтверждает принадлежность к семейству Gemma. Модель предназначена для диалоговой генерации текста и обработки изображений с текстом: заявлена совместимость с Transformers, vLLM и SGLang, а примеры показывают ответы на текстовые запросы и анализ изображений. Это постобученная мультимодальная модель класса image-text-to-text с заявленным размером 27B параметров и FP8-квантизацией; для исходной Qwen-версии указана fine-grained FP8-квантизация с размером блока 128. Репозиторий распространяется по лицензии Apache-2.0. Точные архитектурные детали, поддерживаемые языки, размер контекстного окна, результаты оценки, сильные стороны и ограничения именно копии ark4004 в доступных данных надежно не указаны, поэтому их нельзя утверждать.

unsloth/gemma-3n-E2B-it-litert-preview-GGUF — GGUF-версия инструкционной модели Gemma 3n E2B, основанной на google/gemma-3n-E2B-it-litert-preview. Модель разработана Google DeepMind, а данный вариант подготовлен Unsloth. Она предназначена для эффективного запуска на устройствах с ограниченными ресурсами, а также для диалогов, ответов на вопросы и суммаризации документов. Модель поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текстовых ответов, однако в README для этой конкретной версии указано, что в настоящее время поддерживается только текст. Эффективный размер составляет 2B параметров благодаря технологии выборочной активации параметров; общий размер параметров не указан. Максимальная длина контекста — 32K токенов. Заявлена языковая поддержка английского языка, при этом семейство Gemma 3n обучалось на данных более чем 140 разговорных языков. К сильным сторонам относятся компактность, ориентированность на малоресурсные устройства и формат GGUF, удобный для локального запуска. Ограничения включают текущую поддержку только текстовых входов в этой версии и отсутствие подробных сведений о производительности, аппаратных требованиях и результатах оценки. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google.

gemma-4-26B-A4B-it-w4a16-llmcompressor — квантизированная версия модели gemma-4-26B-A4B-it, разработанная AMD на базе архитектуры Gemma4ForConditionalGeneration. Модель предназначена для генерации текста и инференса на CPU AMD EPYC под Linux с использованием vLLM и оптимизаций ZenDNN. В README указана поддержка английского языка. Архитектура включает текстовую часть, MoE-компонент с 128 маршрутизируемыми экспертами, vision tower и проектор vision-to-text; при этом в карточке явно заявлены текстовые входы и текстовые выходы, а подробные сценарии мультимодального использования не описаны. Модель использует 4-битную weight-only квантизацию W4A16, выполненную методом GPTQ через LLM Compressor и формат compressed-tensors. Веса хранятся в INT4 с симметричной групповой квантизацией и group_size=64, а активации остаются в BF16. Размер весов сокращён примерно с 48,1 GiB до 14,6 GiB, то есть примерно на 70%. В BF16 сохранены MoE-router, vision tower, vision-to-text projector, lm_head и layer norms; основные текстовые attention-проекции, shared MLP и эксперты квантизированы. Сильные стороны модели — существенное снижение требований к дисковому пространству и памяти при сохранении совместимости с CPU-инференсом на AMD EPYC, а также интеграция со стеком ZenDNN, ZenTorch, PyTorch и vLLM. Ограничения включают зависимость от совместимых версий программного стека и аппаратного обеспечения, а также возможную потерю качества из-за 4-битной квантизации. Контекстное окно и точный общий размер модели в README не указаны. Модель распространяется по лицензии Gemma.

HuggingFaceTB_SmolLM3-3B-GGUF — это набор GGUF-квантизированных версий языковой модели SmolLM3-3B, разработанной HuggingFaceTB и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других совместимых проектах на базе llama.cpp. Указана поддержка английского, французского, испанского, итальянского, португальского, китайского, арабского и русского языков. Размер исходной модели составляет около 3 миллиардов параметров; доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантизаций объёмом примерно от 1,37 до 6,16 ГБ. Основное преимущество набора — возможность выбрать баланс между качеством, потреблением памяти и скоростью локального вывода: варианты Q5 и Q6 заявлены как высококачественные, а Q4_K_M — как подходящий размер по умолчанию для большинства сценариев. Более компактные варианты удобны для систем с ограниченной оперативной памятью, но обеспечивают более низкое качество. В README не указаны архитектурные детали, длина контекста, мультимодальные возможности и результаты независимого тестирования. Также отмечено, что формат чата ранее требовал исправления, поэтому совместимость шаблона приглашений следует проверять для конкретного клиента. Модель распространяется по лицензии Apache 2.0.

Это MLX-версия модели Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated, опубликованная сообществом mlx-community. В основе лежит Qwen3.6-35B-A3B от Alibaba Cloud; модель Huihui является производной модификацией, а данный репозиторий содержит её 8-битное представление для запуска с MLX на совместимом оборудовании, прежде всего на устройствах Apple Silicon. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через mlx-lm и OpenAI-совместимый сервер. Она относится к архитектуре Mixture of Experts (MoE), имеет около 35 млрд параметров и использует 8-битное представление; размер файлов репозитория составляет примерно 36,8 ГБ. В метаданных указаны английский язык и поддержка conversational text generation. Точные сведения о размере активной части MoE, длине контекста, полном наборе языков и результатах тестирования для этой конкретной MLX-сборки не приведены. Преимущество модели — сочетание крупной базовой архитектуры с 8-битным представлением и оптимизацией под MLX, что делает локальное использование практичнее по сравнению с полной точностью. Ограничения включают значительные требования к памяти, отсутствие опубликованной подробной документации и бенчмарков для данной сборки, а также неопределённость характеристик производной модификации. Лицензия непосредственно в карточке MLX-репозитория не указана; для исходной модели Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated указана Apache 2.0.

Модель arnavgrg/llama-2-13b-chat-nf4-fp16-upscaled — вариант Llama 2 13B Chat, подготовленный автором как upscaled fp16 после загрузки исходной модели с 4-битной NF4-квантизацией через bitsandbytes. Линейные слои Linear4bit преобразованы в fp16, чтобы не выполнять повторную квантизацию и деквантизацию при каждом проходе во время инференса. Модель имеет плотную архитектуру LlamaForCausalLM, около 12,9 млрд параметров и контекст 4096 токенов. Предназначена для генерации текста в диалоговом формате и может загружаться через Transformers с точностью fp16. README указывает, что веса линейных слоёв после квантизации NF4 являются lossy, поэтому качество может быть ниже официальной базовой модели. Репозиторий распространяется по лицензии Apache-2.0.

unsloth/llama-2-7b-bnb-4bit — это 4-битно-квантизированная версия Llama 2 с 7 млрд параметров, подготовленная Unsloth и предназначенная для использования с библиотекой Transformers. Квантизация выполнена напрямую с помощью bitsandbytes, что снижает требования к памяти по сравнению с полноразмерной моделью. Модель ориентирована на запуск и дообучение Llama 2 на ограниченных вычислительных ресурсах, включая видеокарты уровня Tesla T4. Она может использоваться для генерации и продолжения англоязычного текста, а также для прикладного fine-tuning на собственных наборах данных. README упоминает поддержку conversational и text completion сценариев, включая шаблоны ShareGPT ChatML и Vicuna. Ключевые характеристики: архитектура семейства Llama 2, размер 7B, текстовая модальность, основной заявленный язык — английский, формат 4-bit bitsandbytes. Точные параметры контекстного окна и дополнительные языковые возможности в README не указаны. Сильная сторона модели — уменьшенное потребление памяти и возможность более быстрого и доступного дообучения; ограничениями являются потери, связанные с квантизацией, зависимость от совместимого программного окружения и отсутствие подробных данных о качестве, контексте и поведении модели. Указана лицензия Apache-2.0.

Llama-3.1-Tulu-3-70B-SFT-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3.1-Tulu-3-70B-SFT, разработанной AllenAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой GGUF, например LM Studio. Модель содержит 70 миллиардов параметров и основана на архитектуре Llama 3.1; заявленный язык — английский. В репозитории представлены варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода. Наиболее качественными считаются Q8_0, Q6_K и Q5_K, а Q4_K_M обозначен как подходящий вариант по умолчанию для большинства сценариев. Модели в формате GGUF поддерживают запуск через llama.cpp, однако для версий с низкой точностью возможна заметная потеря качества. Размеры файлов варьируются примерно от 16,75 до 74,98 ГБ, а сведения о размере контекста и мультимодальности не указаны. Для использования требуется достаточно оперативной или видеопамяти в зависимости от выбранной квантизации и конфигурации запуска. Для модели указана лицензия llama3.1.

MeliodasPercival_01_T3qExperiment26 — объединённая модель для генерации текста, созданная из automerger/MeliodasPercival_01-7B и automerger/T3qExperiment26-7B. Она использует плотную архитектуру Mistral с причинно-языковой моделью MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста с контекстом до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

Meta-Llama-3-70B-Instruct-abliterated-v3.5-IMat-GGUF — это GGUF-квантизированная версия языковой модели Meta-Llama-3-70B-Instruct-abliterated-v3.5, подготовленная legraphista на основе модели failspy. Модель предназначена для генерации текста и диалоговых сценариев с использованием llama.cpp и совместимых инструментов. Модель имеет размер 70 млрд параметров и поставляется в форматах BF16, FP16, Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и других вариантах квантизации. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Доступны файлы размером примерно от 26,38 ГБ до 141,12 ГБ; часть крупных вариантов разделена на несколько файлов. README не содержит сведений о длине контекста, поддерживаемых языках или мультимодальности, поэтому модель следует считать текстовой. Сильной стороной является сочетание крупного размера исходной модели с различными уровнями квантизации, позволяющими выбирать баланс между качеством, требованиями к памяти и скоростью инференса. Ограничения связаны с высокими аппаратными требованиями даже для квантизированных вариантов и возможной потерей качества при агрессивной квантизации. Модель распространяется по лицензии llama3; для использования необходимо учитывать условия этой лицензии.

Meta-Llama-3-8B-Instruct-BPE-fix-GGUF — это GGUF-версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях диалоговых ассистентов, ответов на вопросы, написания и преобразования текста. В карточке указаны английский язык и задача text-generation; поддержка других языков не заявлена. Известно, что модель относится к семейству Llama 3 и содержит 8 миллиардов параметров. Формат GGUF ориентирован на локальный запуск с совместимыми инструментами инференса, а суффикс BPE-fix указывает на вариант с исправлением, связанным с токенизацией BPE, однако подробности этого исправления в README не приведены. Сведения о размере контекста, точной архитектуре, модальностях, производительности и ограничениях качества отсутствуют. Модель распространяется по лицензии Meta Llama 3 Community License. Лицензия разрешает использование, воспроизведение, распространение, создание производных работ и модификацию на установленных условиях. При распространении материалов или продуктов необходимо включать текст лицензии, указывать «Built with Meta Llama 3», сохранять требуемое уведомление об авторских правах и соблюдать Acceptable Use Policy. Для организаций и продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено получение отдельной лицензии Meta.

MFANN-llama3.1-abliterated-SLERP-v3 — диалоговая языковая модель, созданная netcat420 слиянием SLERP двух моделей на базе Llama 3.1 8B Instruct: mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated и netcat420/MFANNv0.22.1. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и ведения диалогов. Слияние использует разные веса для слоёв self-attention и MLP; файлы опубликованы в формате safetensors и рассчитаны на использование с Transformers. Лицензия — llama3.1. Языковые возможности, кроме унаследованных от базовых моделей, в карточке не описаны.