II.4Отладка, тестирование и качество ПО

arun100/whisper-small-derived-hi-1 — дообученная модель Whisper Small, созданная на основе vasista22/whisper-hindi-small. Она предназначена для автоматического распознавания речи на хинди и преобразования аудио в текст. Модель содержит 153,1 млн параметров; в карточке указана оценка WER 10,1104 на наборе оценки Common Voice 16.0 для хинди. Модель принимает аудио и выдаёт текст. Она опубликована в формате Safetensors и распространяется по лицензии Apache-2.0. README не сообщает подробностей об условиях записи речи, шумоустойчивости или ограничениях применения.

Whisper Telugu Medium — модель распознавания речи, разработанная Vasista22 на основе Whisper Medium от OpenAI и дообученная на корпусах речи на телугу. Она преобразует аудио на телугу в текст и предназначена для транскрибации записей и оценки систем ASR. Модель построена на архитектуре Whisper и содержит около 455,8 млн параметров; доступны веса PyTorch и Flax. В обучении использованы несколько публичных корпусов, включая CSTD IIIT-H, ULCA, Shrutilipi, Microsoft Speech Corpus, Fleurs и Babel. Модель распространяется по лицензии Apache-2.0.

BagOClownCoders-slerp-7B — объединённая модель генерации текста на базе архитектуры Mistral, созданная методом SLERP с помощью mergekit из beowolx/CodeNinja-1.0-OpenChat-7B и beowolx/MistralHermes-CodePro-7B-v1. Это плотная авторегрессионная модель объёмом 7,1 млрд параметров с контекстом до 32 768 токенов; репозиторий содержит веса в формате safetensors, а использовать модель можно через Transformers. Модель предназначена для диалоговой генерации текста и задач программирования: она может помогать писать и дополнять код, а также отвечать на вопросы в чате. README подтверждает способ слияния и исходные модели; отдельные сведения о качестве, тестировании и условиях лицензии в предоставленных данных отсутствуют.

SoelMgd/bert-pii-detection — модель на основе DistilBERT, дообученная для обнаружения и классификации персональных данных в тексте. Она выполняет токенную классификацию и размечает 56 типов сущностей, включая имена, контакты, адреса, финансовые реквизиты, идентификаторы и учётные данные. Модель предназначена для поиска и маскирования персональных данных, обезличивания наборов текста и проверки текстовых данных в сценариях защиты приватности и соблюдения требований к обработке данных. Использует архитектуру DistilBertForTokenClassification и поддерживает английский язык. Контекст ограничен 512 токенами; качество может снижаться на коротких и длинных текстах, а также на специализированной терминологии. Модель обучена на данных AI4Privacy; в README указаны наборы PII-42k и PII-200k. Лицензия — MIT.

WhisperLv3-FT-EP-CPP — модель распознавания речи на европейском португальском языке, созданная дообучением Whisper large-v3 на данных CAMOES (Capitalized, Punctuated and Pós-Acordo). Она предназначена для преобразования речи в текст, в том числе для исследований и оценки качества распознавания, а также для демонстраций и прототипов транскрибации. Модель основана на архитектуре WhisperForConditionalGeneration, содержит около 905,2 млн параметров и принимает аудио, выдавая текст. В карточке не приведены длина контекста и подробные показатели качества. Лицензия в предоставленных данных не указана.

CodeMate-v0.1 — языковая модель и программный помощник, разработанный CodeMate. Она предназначена для генерации решений задач по программированию и принимает запросы в формате инструкций Alpaca/Vicuna. Модель основана на архитектуре Llama, имеет 33,5 млрд параметров и работает с контекстом до 16 384 токенов. По заявлению разработчика, модель дообучена на внутреннем наборе из 1,8 млрд токенов с задачами по программированию и решениями; поддерживает Python, C/C++, TypeScript, Java и другие языки программирования. Это версия 0.1, проверенная в ограниченном объёме. Используется лицензия Llama 2.

Bud Code Millenials 8B — модель генерации кода от Bud Ecosystem, созданная дообучением языковой модели семейства Llama. Она предназначена для написания кода по текстовому запросу и других сценариев генерации программного кода. В карточке указано значение HumanEval pass@1 67,1; это результат оценки разработчиков, который может зависеть от используемого скрипта и условий тестирования. Модель имеет около 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Метаданные указывают контекст до 8192 токенов и библиотеку Transformers. Модель принимает текст и генерирует текст; карточка не указывает основной естественный язык, а среди языков отмечен код. Модель может ошибаться, выдавать вводящий в заблуждение код и хуже справляться с задачами вне программирования. Лицензия указана как llama3.

lakshyakh93/deberta_finetuned_pii — дообученная модель на базе DeBERTa для поиска и классификации персональных данных в неструктурированном тексте. Она размечает фрагменты вроде имён учётных записей, номеров банковских карт, адресов электронной почты, телефонных номеров и адресов. Модель предназначена для выявления чувствительных сведений в документах, письмах и пользовательском контенте, например перед передачей текста на дальнейшую обработку или проверкой данных на конфиденциальность. Это модель классификации токенов на 151,8 млн параметров с контекстом до 512 токенов; для запуска README показывает использование Transformers pipeline с задачей token-classification. Модель принимает текст и выдаёт метки для фрагментов текста. В карточке указана лицензия MIT. Оценки качества и подробности о составе обучающих данных не приведены, поэтому результаты на конкретных категориях PII следует проверять на целевых данных.

Gemma 2 2B Instruct — компактная языковая модель Google из семейства Gemma, представленная в формате GGUF для запуска через llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b3496. Модель предназначена для генерации текста и диалоговых сценариев общего назначения, а также может использоваться для автодополнения и черновой генерации на устройствах с ограниченными ресурсами и низким энергопотреблением. Модель содержит около 2 миллиардов параметров и обучена на 2 триллионах токенов, включавших веб-документы, программный код и математические материалы. Она поддерживает работу с текстом; в README отдельно отмечены крупный словарь Gemma 2, потенциальные преимущества для многоязычных задач и программирования, однако точный список языков и размер контекстного окна не указаны. Для корректного диалога требуется шаблон Google Gemma Instruct; системный промпт не поддерживается. Сильными сторонами модели являются небольшой размер, пригодность для локального запуска и специализация на общих текстовых, кодовых и математических задачах. Ограничениями выступают меньшая емкость по сравнению с крупными моделями, отсутствие мультимодальности и неподдержка системных инструкций; модель также может генерировать неточные, вредные или неуместные ответы. Доступ регулируется лицензией Google Gemma: на Hugging Face требуется ознакомиться с условиями и принять лицензию.

LiconStudio/Gemma-4-31B-it-abliterated-GGUF — модифицированная версия Google Gemma 4 31B Instruct, распространяемая в формате GGUF. Модель создана с применением метода Heretic ABLiteration: из исходных весов удалено нейронное направление, связанное с отказами в ответах, без изменения архитектуры и без дополнительных затрат при инференсе. Согласно README, версия ориентирована на снижение частоты отказов при сохранении исходных возможностей модели. Модель предназначена для генерации текста, исследований чувствительных тем, анализа, тестирования безопасности, red-teaming и академических исследований выравнивания моделей. Также заявлена поддержка мультимодальных сценариев с изображениями и текстом благодаря возможностям Gemma 4; при этом vision encoder остался без изменений. Указаны языки Chinese и English. Размер модели — 31B параметров; сведения о длине контекста и точной конфигурации GGUF в README отсутствуют. Сильной стороной является низкая частота отказов: в ручном тестировании для Abliterated Version указано 4 отказа из 100, при этом авторы не наблюдали заметного ухудшения интеллектуальных способностей по сравнению с официальной версией. Ограничения включают возможную небольшую потерю качества на сложных задачах, отсутствие встроенных механизмов цензуры и необходимость самостоятельно оценивать безопасность результатов. Модель не рекомендуется для производственных систем, требующих модерации контента, приложений для несовершеннолетних и сценариев с юридическими рисками. Лицензия — Apache-2.0. Авторы предназначают модель для исследовательских и образовательных целей и предупреждают, что она может генерировать вредный, опасный или неприемлемый контент; ответственность за использование несёт пользователь.

GPT4All-13b-snoozy — языковая модель Nomic AI для генерации текста в формате чат-бота. Это дообученная версия LLaMA 13B с 12,9 млрд параметров, обученная на корпусе примеров взаимодействий с ассистентом из набора nomic-ai/gpt4all-j-prompt-generations, revision v1.3-groovy. Модель предназначена для диалогов, решения текстовых задач, помощи с кодом и создания стихов, песен и рассказов. Она принимает текст и генерирует текст на английском языке; максимальная длина контекста — 2048 токенов. Для использования указана лицензия GPL.

Репозиторий содержит конвертированную и квантизированную в GGUF версию KATCoder-2.5-Dev от Kwaipilot, подготовленную для запуска через llama.cpp на оборудовании AMD. Это разговорная текстовая модель для генерации ответов и кода; README описывает варианты ROCmFP4 и ROCmFP6 и заявляет ускорение генерации на совместимых GPU и APU AMD. В метаданных указаны форматы GGUF и GGUF BF16, тег text-generation и поддержка английского языка. Для запуска требуются подходящая сборка ROCmFPX/llama.cpp и поддерживаемая среда ROCm или Vulkan. Репозиторий описывает конвертацию исходных весов в GGUF и последующую квантизацию; лицензия указана как MIT. Количественная оценка качества и подробные результаты тестирования в карточке не приведены.

Это финальная готовая к инференсу модель для генерации кода, созданная методом supervised fine-tuning на базе meta-llama/Llama-3.2-3B-Instruct. Разработчик обучал её на llama3b_code_sft_data с упорядоченной подачей примеров и равномерным повторным воспроизведением данных с коэффициентом 1,0; представлена версия на шаге оптимизатора 65. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 3,2 млрд параметров и работает с контекстом до 131 072 токенов. Модель предназначена для генерации кода в диалоговом формате и готова к запуску через Transformers; веса доступны в формате safetensors. README не уточняет поддерживаемые языки программирования, результаты оценки качества или конкретные ограничения. Базовая модель распространяется по лицензии Llama 3.2 Community License; условия лицензии производной модели следует сверить с её репозиторием и лицензией базовой модели.

Многоязычная модель ai4privacy для обнаружения и разметки персональных данных в тексте с целью их последующего маскирования. Она разработана Ai4Privacy как дообучение answerdotai/ModernBERT-base и использует архитектуру ModernBERT с классификацией токенов; содержит 149 млн параметров, поддерживает контекст до 8192 токенов и распространяется в форматах Safetensors и ONNX. Модель рассчитана на редактирование PII, а не на полную классификацию персональных данных. В карточке приведены результаты оценки на тестовой части датасета ai4privacy/open-pii-masking-500k-ai4privacy: точность 99,01%, precision 98,72%, recall 98,47% и F1 98,59%. Модель может быть полезна для поиска имен, времени и других категорий персональных данных перед передачей текста или сохранением документов. Она лицензирована по MIT; перед применением на собственных данных следует оценить качество, поскольку результаты на тестовом наборе могут отличаться от реальных.

UCLA-EMC/Meta-Llama-3.1-8B-AWQ-INT4 — квантизированная версия базовой модели Meta-Llama-3.1-8B, разработанной Meta и подготовленной в формате AWQ сообществом UCLA-EMC. Это авторегрессионная текстовая генеративная модель: принимает текст и генерирует текст. Модель предназначена для локального запуска и задач общего текстового продолжения, включая генерацию кода и другой контент по заданному запросу. Версия является базовой, а не instruction-tuned, поэтому она не оптимизирована специально для диалогового следования инструкциям. Модель имеет размер 8B параметров и квантизацию INT4 с использованием AutoAWQ, GEMM-ядер, zero-point quantization и размером группы 128. Для загрузки контрольной точки требуется около 7,29 ГБ VRAM; модель тестировалась на GPU NVIDIA T4 и может запускаться на менее мощном оборудовании. В README указана поддержка английского языка; размер контекста для самой модели не указан, а параметр fuse_max_seq_len=512 приведён только в примере запуска. Для работы используются Transformers, Accelerate и AutoAWQ. Модель распространяется по лицензии CC BY-NC-4.0, поэтому её применение ограничено условиями этой лицензии, включая некоммерческий характер использования.

Карточка модели openbmb/MiniCPM-2B-sft-bf16-llama-format на Hugging Face совпадает с карточкой openbmb/MiniCPM-2B-sft-bf16, поэтому описание составлено по ней. MiniCPM-2B-SFT-bf16 — текстовая генеративная модель из семейства MiniCPM, разработанного ModelBest и лабораторией обработки естественного языка Университета Цинхуа. Это версия MiniCPM-2B, дообученная с учителем (SFT) и сохранённая в формате PyTorch с точностью bf16; в метаданных указано 2,7 млрд параметров, а README описывает базовый MiniCPM-2B как модель с 2,4 млрд параметров без учёта эмбеддингов. Модель предназначена для диалогов и генерации текста, в том числе на китайском и английском языках. Контекст составляет 4096 токенов. README сообщает о сильных результатах семейства MiniCPM на общих тестах, включая китайский язык, математику и программирование, и о возможности запускать модели семейства на мобильных устройствах после отдельной квантизации. Эти результаты не следует автоматически переносить на конкретную SFT-сборку bf16. Разработчики разрешают академическое исследование и ограниченное коммерческое использование; точные условия лицензии в предоставленных данных не приведены.

NektusAISaracatsuna — языковая модель SakitsunaAI, дообученная на базе deepseek-ai/deepseek-coder-1.3b-instruct. Она предназначена для генерации текста в диалоговом формате и может применяться для помощи с программным кодом, включая его генерацию и дополнение. Модель построена на плотной архитектуре семейства Llama, содержит 1,3 млрд параметров и поддерживает контекст до 16 384 токенов. В репозитории представлены веса Safetensors. Карточка сообщает, что обучение выполнялось с Unsloth; лицензия — Apache-2.0. Языком модели в метаданных указан английский. Подробности обучающих данных и оценок качества не приведены, поэтому пригодность модели для конкретных языков программирования и сложных задач следует проверять на собственных примерах.

NTQAI разработала Nxcode-CQ-7B-orpo — разговорную модель генерации кода, полученную дообучением CodeQwen1.5-7B с помощью Monolithic Preference Optimization без референсной модели на 100 тысячах высококачественных пар ранжирования. Модель построена на плотной архитектуре Qwen2 с 6,9 млрд параметров и контекстом до 65 536 токенов; веса опубликованы в формате Safetensors. Модель предназначена для генерации и дополнения кода по текстовым инструкциям. В README приведены результаты EvalPlus: pass@1 86,6 на HumanEval, 83,5 на HumanEval+ и 82,3 на MBPP. Карточка показывает поддержку чата и задач с кодом; пример оценки использует запрос на завершение функции Python. Лицензия указана как other, поэтому условия использования следует уточнить по материалам репозитория. В опубликованном README нет сведений о тестировании на иных языках программирования или сценариях, а результаты на бенчмарках сами по себе не гарантируют качество для конкретного проекта.

Gensyn open-1b-sft — англоязычная авторегрессионная языковая модель с архитектурой decoder-only Transformer семейства open1b. Модель содержит 1,3 млрд параметров по метаданным (в README указано 1,61 млрд, из них 1,08 млрд без эмбеддингов), использует контекст до 4096 токенов и предназначена для диалоговой генерации текста, включая код и STEM-тематику. Для общения следует применять встроенный шаблон чата. Это supervised fine-tuning модели Gensyn/open-1b-midtrained-93B на наборе allenai/tulu-3-sft-olmo-2-mixture-0225. По описанию разработчика, предпочтительная оптимизация через RLHF или DPO не проводилась. Семейство open-1b сопровождается данными и артефактами для проверки воспроизводимости обучения; эта версия демонстрирует дообучение проверяемого базового чекпойнта. Модель подойдёт для прототипирования англоязычного чат-ассистента, генерации кода и STEM-текста, а также экспериментов с воспроизводимым обучением. Разработчик характеризует её как легко настроенного ассистента, не предназначенного для производственного чата. Лицензия — Apache 2.0.

Ornith-1.0-35B-NVFP4-GGUF — 35-миллиардная модель семейства Ornith, разработанная DeepReinforce AI и представленная в квантизированном формате GGUF. Она предназначена для генерации кода и работы в роли coding-агента. В основе — дообученная архитектура Qwen3.5 MoE с 40 слоями, 256 экспертами и 8 активными экспертами на токен; модель использует 8 млрд активных параметров на токен и поддерживает контекст до 262 тыс. токенов. Веса BF16 преобразованы в NVFP4-квантизацию с помощью llama.cpp; формат оптимизирован для GPU NVIDIA Blackwell. В README заявлены обучение с подкреплением, нацеленное на генерацию решений и каркаса для их выполнения, и высокая эффективность при развёртывании на одной GPU. Для полного размещения на GPU требуется не менее 20 ГБ видеопамяти, рекомендуется 24 ГБ или больше. Лицензия MIT.

Ornith-1.5-35B-A3B-uncensored-MLX-4bit — это 4-битная MLX-версия модели Ornith-1.5-35B-A3B, разработанной командой Ornith. Модель подверглась abliteration: к исходной модели применили один проход biprojection для существенного снижения жёстких отказов, после чего выполнили конвертацию для запуска через mlx-lm на Apple Silicon. Релиз подготовил Robert Ressl. Модель предназначена для генерации текста, а также для исследований безопасности, red-teaming и penetration testing, включая сценарии, в которых требуется выполнять запросы, обычно отклоняемые стандартной моделью. Она поддерживает английский язык, имеет контекст до 262 144 токенов и занимает около 18 ГБ. MLX-сборка рассчитана на устройства Apple Silicon; заявлена только текстовая работа, поскольку vision tower базовой мультимодальной модели в эту сборку не подключён. К сильным сторонам относятся существенно сниженная частота жёстких отказов и сохранение общей связности и инструментальных возможностей, хотя качество на GPQA-Diamond снизилось с 61,1% до 58,6% относительно базовой модели. Полная оценка проводилась для идентичного NVFP4-варианта, а MLX-сборки прошли только локальные smoke-тесты, поэтому результаты нельзя напрямую считать полноценными бенчмарками этой версии. Квантование 4-bit может усиливать остаточные отказы; для модели зафиксирована небольшая доля таких случаев. Лицензия MIT унаследована от Ornith и указана как предоставленная командой ornith-ai.

Param-1-5B — базовая двуязычная языковая модель семейства Param-1, разработанная BharatGen. Это предварительно обученная с нуля плотная decoder-only Transformer-модель примерно с 4,5 млрд параметров по метаданным (в карточке указано около 5 млрд). Она предназначена для дальнейшей адаптации и задач генерации текста, с акцентом на математические рассуждения и понимание и генерацию кода. Модель обучена преимущественно на английском и хинди, включая отдельные математические и программные данные. Архитектура использует RoPE и grouped-query attention; максимальная длина контекста — 4096 токенов. В карточке приведены результаты на ARC Challenge, ARC Easy и HellaSwag. Это базовая модель, поэтому для следования инструкциям и диалогового применения может потребоваться дообучение. Возможны смещения из обучающих веб- и программных данных, а качество на сложных задачах в малоресурсных областях хинди может различаться. Лицензия указана как other; конкретные условия следует проверять в репозитории модели.

Модель jammmmmm/pii — дообученная модель распознавания именованных сущностей на основе DeBERTa, предназначенная для поиска и классификации персональных данных в неструктурированном тексте. Она отмечает такие категории, как имена пользователей, номера банковских карт, электронные адреса, телефоны и адреса. В README пример использования указывает базовую модель lakshyakh93/deberta_finetuned_pii. Модель подходит для предварительной разметки документов, электронной переписки и пользовательских сообщений перед их обезличиванием или проверкой на наличие чувствительных данных. Параметры в метаданных указывают на размер около 151,8 млн параметров и контекст до 512 токенов; доступны веса PyTorch и ONNX. Указанная лицензия — MIT. Карточка описывает распознавание PII в тексте на английском языке. Качество для других языков и конкретные показатели точности не приведены; обнаружение данных не гарантирует полной деидентификации или соблюдения требований законодательства.

pplx-pii-masking-MLX — это версия весов в формате MLX модели pplx-pii-masking, разработанной Perplexity AI для обнаружения и маскирования персональных и других чувствительных данных в разговорных данных. Модель предназначена для задач token classification и оценки чувствительности беседы, включая обработку текстов перед их сохранением, анализом или передачей в другие системы. В основе используется двунаправленный энкодер Qwen3 примерно на 600 млн параметров с backbone perplexity-ai/pplx-embed-v1-0.6b и лимитом контекста 4096 токенов. Модель поддерживает английский и мультиязычный ввод. Голова классификации токенов с 37 выходами использует BIOES-разметку для девяти категорий PII: имя человека, номер счёта, URL, дата, адрес, электронная почта, телефон, прочие персональные данные и секреты. Дополнительная голова оценивает чувствительность всей беседы. Линейные проекции backbone квантизованы до 8-битного affine-формата с размером группы 64; эмбеддинги и веса нормализации имеют формат bf16, а обе головы — fp32. Размер файла весов составляет около 779 МБ. К сильным сторонам относятся специализированное выделение PII, constrained Viterbi-декодирование BIOES-меток, отображение найденных фрагментов на символьные позиции и возможность запуска через MLX на Apple Silicon. Репозиторий содержит веса и конфигурацию, но не включает реализацию модели или загрузочный скрипт, поэтому для инференса потребуется совместимая реализация двунаправленного Qwen3-энкодера, квантизованных проекций и обеих голов. Документы длиннее 4096 токенов необходимо разбивать на части. Модель распространяется по лицензии MIT.

Это преобразованная для обслуживания через vLLM версия модели Perplexity AI pplx-pii-masking. Она использует плотную архитектуру Qwen3ForTokenClassification с 507,9 млн параметров и принимает текст, присваивая токенам BIOES-метки для обнаружения имён людей, адресов электронной почты и телефонов, адресов, URL, дат, номеров счетов, секретов и других персональных данных. Дополнительный выход оценивает чувствительность последовательности. Модель поддерживает английский и демонстрирует работу на немецком; контекст по метаданным — 32 768 токенов. Веса перенесены без переобучения и квантизации: изменены формат упаковки и структура голов для совместимости с vLLM. Проверки в карточке показывают совпадение меток с исходной моделью на приведённых примерах. Для декодирования меток и оценки чувствительности нужны сырые логиты без активации. Токенизатор обрезает входы длиннее 4096 токенов, поэтому длинный текст следует обрабатывать частями; границы найденных фрагментов могут не точно совпадать с границами символов, а оценку чувствительности рекомендуется калибровать перед использованием как порога. У репозитория указана лицензия other; карточка сообщает, что модель приватна и ожидает синхронизации с официальным выпуском.

Qodo-Embed-1-7B — модель эмбеддингов кода, разработанная Qodo для поиска по программному коду. Она дообучена на базе Alibaba-NLP/gte-Qwen2-7B-instruct и использует архитектуру Qwen2 с 7,1 млрд параметров. Модель преобразует текстовые запросы и фрагменты кода в векторы размерностью 3584 для поиска естественным языком по коду и поиска похожего кода. Модель предназначена для поиска кода, извлечения контекста для RAG и семантического сопоставления кода. README заявляет поддержку Python, C++, C#, Go, Java, JavaScript, PHP, Ruby и TypeScript. Метаданные указывают контекст до 131 072 токенов; README сообщает максимальный размер входа 32 тыс. токенов. Для работы через Transformers указаны зависимости transformers и flash_attn. Репозиторий содержит веса safetensors и имеет лицензию other, поэтому условия использования следует сверять с карточкой модели.

mlx-community/Qwen2.5-Coder-1.5B-Instruct-8bit — конвертированная в формат MLX 8-битная версия Qwen2.5-Coder-1.5B-Instruct от сообщества mlx-community. Это плотная авторегрессионная модель семейства Qwen2, предназначенная для генерации кода в диалоговом формате и доступная для запуска через mlx-lm. Модель содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Карточка указывает английский язык; метаданные также отмечают возможности работы с кодом и интерфейс вызова инструментов. Репозиторий создан 18 сентября 2024 года. Модель подходит для генерации и продолжения кода, помощи в программировании и диалоговых сценариев с кодом. Её компактный размер удобен для локального запуска на оборудовании Apple Silicon через MLX, однако карточка не приводит результатов бенчмарков или более подробных гарантий качества. Лицензия — Apache-2.0.

Youssofal/Qwen3.8-27B-MTPLX-Bare-Speed-FP16 — это MLX-сборка модели Qwen3.8-27B, подготовленная для запуска через MTPLX на компьютерах Mac с Apple Silicon. Модель предназначена для локального текстового общения и генерации, включая задачи программирования, приоритетом является высокая скорость генерации в коротких диалогах и быстрых ответах. Разработчик базовой модели — Qwen, сборку и оптимизацию MTPLX выполнил Youssofal для работы на Apple Silicon. Модель имеет размер 27B параметров, использует FP16 для части плавающих тензоров и поддерживает контекст до 262 144 токенов. В MTPLX применяется speculative decoding с multi-token prediction глубиной 3, что позволяет ускорять генерацию без изменения результата относительно обычного декодирования при указанных условиях. Размер загрузки составляет 16 ГБ; для работы требуется Mac с чипом M1–M5 и не менее 32 ГБ unified memory. Эта версия оптимизирована прежде всего для M1 и M2, тогда как для M3 и новее рекомендуется родительская сборка. Сильная сторона модели — высокая скорость генерации и эффективный локальный запуск на совместимых Mac; заявлены до 65,2 токена в секунду на тесте программирования, измеренном на M5 Max, хотя показатели для M1 и M2 отдельно не опубликованы. Ограничения — более низкое качество и меньшая скорость на длительных задачах программирования по сравнению с вариантами, ориентированными на качество, а также зависимость от оборудования Apple Silicon и MTPLX. Модель распространяется по лицензии Apache-2.0.

Reflection Llama-3.1 70B — языковая модель на архитектуре Llama 3.1, разработанная Matt Shumer и дообученная методом Reflection-Tuning на синтетических данных Glaive. Она предназначена для диалогов и генерации ответов, в том числе для задач, где полезно перепроверять ход решения и исправлять обнаруженные ошибки. Модель содержит 69,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. При генерации модель оформляет рассуждение и итоговый ответ специальными токенами; в ходе рассуждения она может обозначать исправление ошибки. Для взаимодействия используется формат чата Llama 3.1. В карточке указана лицензия Llama 3.1. Автор предупреждает о проблеме в первоначальной загрузке и рекомендует пользователям, столкнувшимся с плохими результатами, повторить попытку с исправленной версией. README предлагает параметры temperature 0,7 и top_p 0,95, но не приводит независимых подтверждений заявлений о качестве и превосходстве модели.

Reflection-Llama-3.1-70B-GGUF — это набор GGUF-квантизаций модели Reflection-Llama-3.1-70B, разработанной mattshumer и подготовленной для распространения и запуска bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие рассуждений и самопроверки. Для запуска рекомендуется использовать llama.cpp или совместимые приложения, например LM Studio. В основе лежит 70-миллиардная текстовая модель семейства Llama 3.1. В README указана поддержка специальных токенов для оформления блоков рассуждений, итогового ответа и рефлексии; для их отображения в llama.cpp требуется включить параметр --special. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, примерно от 30,91 до 74,98 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти. Сведения о языках и размере контекста не приведены. Сильными сторонами являются большой размер модели, варианты высококачественной квантизации и поддержка сценариев с рассуждением и исправлением ошибок. Ограничения зависят от выбранного типа квантизации: более компактные варианты снижают качество. README также предупреждает, что опубликованные веса могут быть неправильными, поэтому модель не следует загружать до устранения проблемы. Для улучшенного рассуждения рекомендован специальный системный промпт. Лицензия указана как llama3.1.