II.1Анализ требований и архитектура ПО

pinecone/mpnet-retriever-squad2 — модель Sentence Transformers на базе MPNet, разработанная Pinecone. Она кодирует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст и выдаёт эмбеддинги; максимальная длина контекста — 514 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусным сходством. Модель подходит для поиска похожих фрагментов и извлечения релевантных текстов по смыслу. В карточке описано обучение, но не указаны языки, обучающие данные и результаты бенчмарков, поэтому качество для конкретных языков и предметных областей по этим сведениям оценить нельзя. Формат файлов — PyTorch; сведения о лицензии в предоставленных данных отсутствуют.

sentence-transformers/msmarco-distilbert-base-v2 — модель Sentence-Transformers, обученная командой Sentence Transformers на базе DistilBERT. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства, кластеризации и других задач с текстовыми эмбеддингами. Модель принимает текст, использует архитектуру DistilBERT и рассчитана на контекст до 512 токенов. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0.

sentence-transformers/msmarco-distilroberta-base-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации текстов. Модель основана на архитектуре RoBERTa и содержит 95,2 млн параметров; максимальная длина контекста — 514 токенов. Она предназначена для получения текстовых эмбеддингов, а не для генерации ответов. Модель подходит для поиска семантически близких документов и группировки текстов по смыслу. Для использования с Transformers поверх контекстных представлений токенов требуется применить подходящую операцию pooling. Распространяется по лицензии Apache-2.0.

ValentinaKim разработала многоязычную модель Sentence Transformer для преобразования предложений и абзацев в плотные векторы размерностью 384. Модель дообучена на базе intfloat/multilingual-e5-small; архитектура включает BERT, усреднение токенов и нормализацию векторов. Максимальная длина входа — 512 токенов, сходство текстов можно оценивать косинусной близостью. Модель подходит для семантического поиска, сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В README описано обучение на 2320 парах текстов и приведены метрики поиска для вариантов размерности 64, 128 и 256. Модель распространяется по лицензии Apache-2.0.

IoannisKat1 выпустил дообученную версию multilingual-e5-large для создания текстовых эмбеддингов. Модель построена на XLM-RoBERTa-large с архитектурой Sentence Transformer: усредняет токенные представления, нормализует результат и отображает предложения и абзацы в плотное векторное пространство размерности 1024. Максимальная длина входной последовательности — 512 токенов; для сравнения векторов используется косинусное сходство. Модель предназначена для семантического поиска, сравнения сходства текстов, поиска перефразировок, кластеризации и классификации текстов на основе эмбеддингов. В README описано дообучение на 82 парах anchor-positive и приведены метрики поиска при нескольких размерностях вектора; результаты зависят от выбранной размерности и тестового набора. Указанная лицензия — Apache-2.0.

Vasanth/multi-qa-MiniLM-L6-cos-v1-qa-squad2-retriever — модель встраивания предложений на базе BERT, созданная с использованием Sentence-Transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 384 и предназначена для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 25,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов. При обучении использовалась функция MultipleNegativesRankingLoss с косинусной мерой сходства. Векторы подходят для семантического поиска и других задач, где нужно сопоставлять тексты по смыслу. Карточка не сообщает о специализированной поддержке языков или прикладных областях. Лицензия в предоставленных данных не указана.

celik-muhammed/multi-qa-mpnet-base-cos-v1-finetuned-dtc-zoomcamp — дообученная модель Sentence Transformers на архитектуре MPNet, разработчик — Muhammed Celik. Она преобразует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, использует библиотеку sentence-transformers и поддерживает контекст до 514 токенов; доступны форматы PyTorch, safetensors и TFLite. При обучении использовались MultipleNegativesRankingLoss с косинусным сходством и OnlineContrastiveLoss. Модель подходит для получения текстовых эмбеддингов и оценки семантической близости. В предоставленных сведениях лицензия не указана, поэтому условия использования установить нельзя; также не приведены языки обучения или оценки качества.

multi-qa_v1-mpnet-mean_cos — модель SentenceTransformers для получения векторных представлений предложений и текстов. Её разработали участники Hugging Face Community Week в проекте по обучению моделей эмбеддингов; в основе лежит microsoft/mpnet-base, дообученная в сиамской схеме с контрастивной целью. Размер модели — 136,7 млн параметров, архитектура — MPNet, формат весов — PyTorch, контекст — до 514 токенов. Модель предназначена для семантического поиска, сравнения сходства вопросов и ответов, кластеризации и других сценариев, где нужно сопоставлять тексты по смыслу. Она кодирует входной текст в вектор, используя mean pooling скрытых состояний. Обучение проводилось на парах вопросов и ответов Stack Exchange, а также данных MSMARCO, NQ и TriviaQA, что делает модель ориентированной на поиск ответов по запросам. Модель принимает текст и выдаёт эмбеддинги; README не указывает отдельную языковую специализацию. Это энкодер для извлечения признаков, а не генеративная модель ответов. Лицензия в предоставленных метаданных и README не указана.

nomic-embed-text-v1 — текстовый энкодер эмбеддингов, разработанный Nomic AI на архитектуре NomicBert. Модель содержит 136,7 млн параметров, принимает до 8192 токенов и предназначена для преобразования текстов в векторы для поиска и сравнения по смыслу. Модель используют для построения RAG-индексов, поиска по запросам, группировки текстов, выявления тем и семантических дубликатов, а также получения признаков для классификации. Для разных задач в начале текста требуется соответствующий префикс-инструкция. В README заявлены результаты на MTEB, LoCo и тесте Jina Long Context; доступность открытых весов и кода обучения также отмечена в карточке. Модель работает с английским языком. Доступны форматы PyTorch, Safetensors и ONNX; библиотека карточки — Sentence Transformers. Лицензия — Apache-2.0. Несмотря на упоминание мультимодального пространства эмбеддингов в README, сама модель принимает текст; для изображений указан отдельный согласованный энкодер nomic-embed-vision-v1.

North-Mini-Code-1.0-GGUF — квантизированная версия языковой модели North-Mini-Code-1.0, разработанной CohereLabs и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия, работы с программным кодом и сценариев с агентами. Поддерживает запуск через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые инструменты. В репозитории представлены варианты от BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K и IQ3/IQ4. Размер файлов составляет примерно от 14,86 до 61 ГБ; варианты с более высокой разрядностью обычно обеспечивают лучшее качество, а компактные версии требуют меньше оперативной памяти. Точные сведения об архитектуре, количестве параметров, языках и размере контекстного окна в предоставленных данных не указаны. Сильными сторонами модели являются специализация на коде, поддержка чатового и агентного применения, а также широкий выбор квантизированных вариантов для разных аппаратных ограничений. Ограничения включают значительные требования к памяти даже у компактных сборок, возможное снижение качества при сильной квантизации и необходимость совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

Карточка модели JSCreatorPro/offline-cpu-e5-large-v2 на Hugging Face совпадает с карточкой intfloat/e5-large-v2, поэтому описание составлено по ней. E5-large-v2 — англоязычная модель текстовых эмбеддингов, разработанная Liang Wang, Nan Yang, Xiaolong Huang и соавторами. Она обучена методом контрастивного предобучения со слабой супервизией и основана на архитектуре BERT: 24 слоя и размерность эмбеддинга 1024. Общее число параметров — 433,9 млн, максимальная длина входа — 512 токенов. Модель преобразует тексты в векторы для семантического поиска, сопоставления запросов и документов, оценки сходства предложений, поиска перефразировок, кластеризации и использования эмбеддингов как признаков для классификации. Для асимметричного поиска рекомендуется добавлять к запросу префикс «query: », а к документу — «passage: »; для симметричного сравнения обычно используют «query: » перед обоими текстами. Модель предназначена только для английских текстов; более длинные входы обрезаются до 512 токенов. При использовании косинусного сходства важнее относительный порядок оценок, чем их абсолютные значения. Расхождения в версиях PyTorch и Transformers могут вызывать небольшие различия результатов. Лицензия — MIT.

Карточка модели swardiantara/one-crk5-m0.5-e5-b128-L6 на Hugging Face совпадает с карточкой swardiantara/one-cdk5-m0.5-e5-b128-L6, поэтому описание составлено по ней. swardiantara/one-cdk5-m0.5-e5-b128-L6 — модель Sentence Transformers на базе архитектуры BERT, разработанная автором репозитория. Она преобразует предложения и абзацы в плотные векторы размерности 384 для поиска по смыслу, кластеризации и сравнения текстов. Модель содержит 25,9 млн параметров, принимает текст и поддерживает контекст до 512 токенов. При обучении использовалась ContrastiveLoss с косинусной метрикой расстояния. Веса опубликованы в формате Safetensors. Карточка не сообщает о специализированной предметной области или лицензии; язык обучения и работы явно не указан.

CrazyDave53/OpenCVModelDemo — многоязычная модель Sentence Transformers, дообученная на базе sentence-transformers/paraphrase-multilingual-mpnet-base-v2. Она использует архитектуру XLM-RoBERTa с усреднением токенных представлений и преобразует предложения и абзацы в плотные векторы размерности 768. Модель предназначена для семантического сравнения текстов, поиска и сопоставления перефразировок; сходство оценивается косинусной мерой. Метаданные указывают 305,2 млн параметров и контекст до 514 токенов; в карточке модели заявлена максимальная длина последовательности 128 токенов. Модель можно применять для семантического поиска, кластеризации, классификации текста и поиска похожих предложений или документов. Она принимает текст и выдаёт векторные представления, а обучение выполнено на наборе из 500 примеров с MarginDistillationLoss. В метаданных указана лицензия? Нет сведений о лицензии в предоставленных данных.

unsloth/OpenReasoning-Nemotron-32B-GGUF — GGUF-версия большой языковой модели OpenReasoning-Nemotron-32B, разработанной NVIDIA и подготовленной Unsloth. Модель является производной от Qwen2.5-32B-Instruct и дообучена для рассуждений при решении математических, программных и научных задач. Она предназначена для генерации текста, включая ответы, решения и исходный код, а также может использоваться в исследовательских и коммерческих сценариях. Модель имеет 32 млрд параметров и работает с текстовыми данными на английском языке. В README не указаны точная архитектура в терминах компонентов, размер контекстного окна и конкретный вариант GGUF-квантизации. Заявлена оценка сгенерированных последовательностей длиной до 64K выходных токенов. Для повышения качества можно применять режим GenSelect с несколькими параллельными генерациями и выбором лучшего решения; этот подход особенно ориентирован на математические и программные задачи. К сильным сторонам относятся специализация на сложном рассуждении, математике, коде и науке, а также высокие результаты на приведённых бенчмарках, включая GPQA, MMLU-PRO, LiveCodeBench, SciCode и AIME. Ограничения включают высокие требования к ресурсам, свойственные модели такого размера, неопределённость характеристик конкретной квантизованной сборки и отсутствие заявлений о мультимодальности: в доступных данных указана только текстовая генерация. Модель распространяется по лицензии Creative Commons Attribution 4.0 International (CC BY 4.0); дополнительно упомянута лицензия Apache 2.0 базовой модели Qwen2.5-32B-Instruct.

OpenThinker2-7B — языковая модель с открытыми весами, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts2-1M и содержит 7,1 млрд параметров. Модель построена на архитектуре Qwen2 и доступна в формате Safetensors; контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогов с акцентом на рассуждения, в частности при решении математических задач и задач на программирование. В README приведены результаты оценивания на математических и научных бенчмарках, а также LiveCodeBench; модель позиционируется как конкурентоспособная среди открытых моделей класса 7B. Она может быть полезна для обучения, экспериментов и создания приложений, которым нужны ответы с рассуждениями. Модель использует интерфейс чата и поддерживает интерфейс вызова инструментов. Данные не подтверждают отдельную языковую специализацию, поэтому язык применения следует выбирать с учётом возможностей базовой Qwen2.5-7B-Instruct. Лицензия — Apache 2.0.

paraphrase-albert-base-v2 — модель Sentence Transformers на архитектуре ALBERT, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерностью 768, предназначенные для сравнения семантической близости, кластеризации и семантического поиска. Для обработки текстов использует библиотеку sentence-transformers; также доступны форматы PyTorch, TensorFlow, ONNX и OpenVINO. Модель подходит для поиска похожих фраз и документов, группировки текстов по смыслу и построения эмбеддингов для поиска. Размер модели — 136,3 млн параметров, максимальная длина входа — 512 токенов. Лицензия Apache-2.0. В README не заявлена поддержка конкретных языков, поэтому языки и основной язык не указаны.

sentence-transformers/paraphrase-albert-small-v2 — модель sentence-transformers, обученная командой Sentence Transformers на базе ALBERT. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для сравнения смысла и работы с текстовыми представлениями. Модель содержит 79,7 млн параметров, поддерживает контекст до 512 токенов и доступна в форматах PyTorch, TensorFlow, ONNX и OpenVINO. Модель подходит для семантического поиска, кластеризации текстов и вычисления сходства между предложениями. Её можно использовать через библиотеку sentence-transformers или Transformers с подходящей операцией pooling. Лицензия — Apache-2.0. Карточка не уточняет языковую специализацию; не следует считать её специально настроенной на русский язык.

jamiealexandre/paraphrase-multilingual-mpnet-base-v2-konni — модель Sentence-Transformers для преобразования предложений и абзацев в плотные векторы размерностью 768. Она основана на архитектуре XLM-RoBERTa, содержит 305,2 млн параметров и принимает текстовые последовательности длиной до 514 токенов. Модель предназначена для получения эмбеддингов, семантического поиска, сравнения текстов и кластеризации. Разработчик карточки указывает Sentence-Transformers; README описывает базовую модель paraphrase-multilingual-mpnet-base-v2. Векторные представления подходят для поиска похожих фрагментов и группировки текстов по смыслу. Для использования с Transformers требуется корректно применять pooling к контекстным представлениям токенов; Sentence-Transformers упрощает этот шаг. Модель распространяется в формате PyTorch по лицензии Apache-2.0.

Это модель Sentence Transformer на базе BERT, дообученная dbourget от dbourget/pb-small-10e-tsdae6e-philsim-cosine-3e-pt1. Она преобразует предложения и абзацы в плотные векторы размерности 1024 и предназначена для поиска семантически близких текстов, оценки сходства и других задач сравнения предложений. Модель можно применять для семантического поиска, поиска перефразировок, кластеризации и классификации текста. Архитектура включает BERT и пулинг по CLS-токену; максимальная длина входа — 512 токенов. Для сравнения векторов рекомендуется косинусное сходство. В README приведена оценка cosine_accuracy 0,7929 на наборе beatai-dev при оценке TripletEvaluator. Языковая специализация и лицензия в доступных данных не установлены.

pharo-collaborators-classifier — модель семейства MPNet от AISE-TUDelft на базе Sentence Transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для сравнения семантической близости; подходит для семантического поиска и кластеризации текстов. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 514 токенов и распространяется в формате PyTorch. Модель обучена с функцией потерь CosineSimilarityLoss. Лицензия в предоставленных данных не указана.

pplx-embed-context-v1.3-4B — контекстная модель эмбеддингов предложений от seslami-pplx, представленная как приватная предварительная версия и совместимая с загрузкой модели v1.2-4B. Она предназначена для поиска по тексту и контекстного сопоставления предложений: в карточке отмечены разрешение перефразирований, снижение влияния лексически похожих отвлекающих фрагментов и совместное извлечение терминов из глоссария. Модель имеет плотную двунаправленную архитектуру PPLX Qwen3, содержит 3,7 млрд параметров и принимает контекст длиной до 32 768 токенов. Репозиторий использует Transformers и формат Safetensors. Модель подходит для семантического поиска и извлечения релевантных текстовых фрагментов с учётом контекста. Карточка не сообщает языковой охват, поэтому конкретные языки не указаны. Лицензия — Apache-2.0; статус private preview означает, что доступ и условия предварительного использования могут быть ограничены.

hroth/psais-all-mpnet-base-v2-8shot — модель Sentence-Transformers на архитектуре MPNet, разработанная автором репозитория hroth. Она преобразует предложения и абзацы в плотные векторы размерности 768 для поиска по смыслу, сравнения текстов и кластеризации. Модель содержит 136,7 млн параметров, принимает текст с контекстом до 514 токенов и выдаёт векторные представления. В README указано обучение с CosineSimilarityLoss; веса доступны в формате PyTorch. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

AISE-TUDelft/python-parameters-classifier — модель эмбеддингов на базе MPNet, опубликованная AISE-TUDelft. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска семантически близких текстов, кластеризации и сравнения предложений. Модель обучалась с функцией потерь CosineSimilarityLoss и подходит для построения семантического поиска и группировки текстов по смыслу. Модель содержит 136,7 млн параметров, принимает текст и выдаёт векторы; максимальная длина контекста — 514 токенов. В репозитории указаны веса PyTorch и использование через Sentence-Transformers. Лицензия в предоставленных данных не указана.

AlexWortega/qwen10k — модель Sentence Transformer, созданная дообучением Qwen/Qwen2.5-0.5B-Instruct для получения векторных представлений текста. Она кодирует предложения и абзацы в плотные векторы размерностью 896; близость текстов можно оценивать косинусным сходством. В метаданных указано 494 млн параметров, архитектура Qwen2 и библиотека sentence-transformers. Модель предназначена для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации текста. В README заявлена максимальная длина последовательности 1024 токена. Для оценки сходства приведены результаты на sts-dev-896: 0,7687 по Spearman и 0,7583 по Pearson с косинусным сходством. Модель принимает текст и выдаёт векторные представления. В карточке нет сведений о поддерживаемых языках и лицензии, поэтому их нельзя надёжно определить.

AlexWortega/qwen1k — дообученная модель Sentence Transformers на базе Qwen/Qwen2.5-0.5B-Instruct, предназначенная для получения векторных представлений предложений и абзацев. Она кодирует текст в плотные векторы размерностью 896; близость текстов можно оценивать косинусным сходством. В метаданных указаны 494 млн параметров и контекст до 32 768 токенов, однако карточка модели задаёт максимальную длину последовательности 1024 токена. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации на основе эмбеддингов. В архитектуре используются Qwen2Model и mean pooling. README приводит результаты оценки сходства на sts-dev-896 и sts-dev-768; качество на других наборах данных отдельно не подтверждено. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Qwen2.5-Coder-32B-Instruct-8bit — это 8-битная версия модели Qwen2.5-Coder-32B-Instruct, конвертированная в формат MLX сообществом mlx-community с использованием mlx-lm 0.19.3. Исходную модель разработала команда Qwen. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате. Модель ориентирована на задачи кодирования и чат-сценарии, включая генерацию ответов на запросы пользователя с применением chat template. В README указано, что она поддерживает английский язык и относится к классу text-generation. Размер исходной модели составляет 32B параметров, а представление использует 8-битную квантизацию. Архитектура и размер контекстного окна в предоставленных данных не указаны. Ключевое преимущество этой версии — формат MLX, предназначенный для использования через mlx-lm; README содержит пример загрузки и генерации. Ограничения, точные показатели качества, перечень поддерживаемых языков помимо английского и требования к аппаратному обеспечению не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-GPTQ-Int4 — инструкционная языковая модель для работы с программным кодом из семейства Qwen2.5-Coder, разработанного командой Qwen при Alibaba Cloud. Модель предназначена для генерации, анализа, исправления и объяснения кода, а также для использования в чат-ассистентах и кодовых агентах. Она сохраняет возможности базовой модели в математике и общих задачах. В карточке указано, что модель ориентирована на английский язык. Это causal language model на архитектуре Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV и GQA: 28 голов для Q и 4 для KV. Модель содержит 7,61 млрд параметров, из них 6,53 млрд без учёта embedding, и 28 слоёв. Доступна GPTQ-квантизация до 4 бит, уменьшающая требования к памяти по сравнению с полноразмерной версией. Максимальная длина контекста заявлена до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, что может снижать производительность на коротких запросах. Сильными сторонами модели являются специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также компактный размер и 4-битная квантизация, удобные для локального или ограниченного по ресурсам развёртывания. Ограничения включают зависимость качества и скорости от оборудования и настроек инференса, а также возможное ухудшение производительности при использовании статического YaRN. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen2.5-VL-3B-Instruct-GGUF — мультимодальная инструкционная модель Qwen2.5-VL-3B-Instruct, разработанная Qwen и представленная в формате GGUF. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для задач анализа изображений и текста, включая распознавание объектов, интерпретацию текстов, диаграмм, графиков, значков и макетов в изображениях. Модель поддерживает контекст до 128 тысяч токенов, заявлена как мультиязычная и может формировать структурированные ответы, включая стабильный JSON. Она также предназначена для сценариев визуального агента с рассуждением и динамическим управлением инструментами, в том числе для взаимодействия с компьютером и телефоном. К сильным сторонам относятся анализ визуальной информации и работа со структурированными данными; конкретные ограничения, результаты тестов и перечень поддерживаемых языков в README не указаны. Лицензия — qwen-research.

MingZwhy/Qwen3-1.7B-W2.79-QAOPD — производная модель Qwen3-1.7B, разработанная автором репозитория MingZwhy. Это плотная авторегрессионная языковая модель с 1,7 млрд параметров для генерации текста и диалогов. Веса квантованы до эффективных 2,79 бита: блоки используют смешанные INT1.58 и INT4, эмбеддинги и выходная голова — INT4, активации — INT8. После квантования модель восстановлена с помощью quantization-aware distillation и on-policy distillation; квантование встроено в веса. Модель подходит для диалоговых приложений, ответов на вопросы, математических задач и генерации кода. В README приведены результаты на GSM8K, MATH-500, AMC23, MBPP, HumanEval и QA9; на этих тестах показатели ниже, чем у исходной версии Qwen3-1.7B в BF16. Контекстное окно составляет 40 960 токенов. Базовая модель — многоязычная Qwen3; точный перечень поддерживаемых языков в предоставленных сведениях не раскрыт. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-397B-A17B-VQ-2.2bpw — векторно-квантизированная версия модели Qwen3.5-397B-A17B, разработанная TheDrainFlorist на базе модели Qwen. Репозиторий предназначен для запуска большой MoE-модели локально на компьютерах Apple Silicon с 128 ГБ объединённой памяти, без кластера и специальных патчей, используя MLX и совместимые инструменты mlx-lm или mlx-vlm. Модель поддерживает генерацию текста, а после обновления runtime также обработку изображений через mlx-vlm. Модель имеет 397 млрд параметров и обозначение A17B, что указывает на разреженную архитектуру Mixture-of-Experts с примерно 17 млрд активных параметров на токен. Применяется vector quantization с точностью 2,2 bits per weight; размер артефакта составляет около 101,0 GiB. Заявлена поддержка английского языка, а тесты включают прозу и смешанный по языкам код. Максимальная длина контекста в README не указана. Для текста требуется mlx-lm с поддержкой ключа model_file версии 0.31.9 или совместимой, для изображений — mlx-vlm не ниже 0.6.16. Главное преимущество сборки — уменьшенный объём, позволяющий сохранить около 17 ГиБ свободной памяти на системе с 128 ГБ и использовать модель с меньшими требованиями к резидентной памяти. По опубликованным измерениям версия v2 улучшает perplexity относительно v1 и превосходит близкую 2,6-битную квантизацию на прозе, однако уступает сборке VQ-2.4bpw по качеству. Уменьшение размера не гарантирует более высокую скорость декодирования, поскольку активные эксперты на токен остаются сопоставимыми. Лицензия — Apache-2.0.