I.3Извлечение и структурирование данных

SILMA Arabic Matryoshka Embedding Model 0.1 — модель текстовых эмбеддингов, предназначенная прежде всего для арабского языка. Она разработана командой SILMA AI и основана на дообученной AraBERTv0.2-base, использует архитектуру BERT и библиотеку Sentence Transformers. Модель содержит 162,4 млн параметров и принимает последовательности длиной до 512 токенов. Эмбеддинги Matryoshka позволяют использовать первые n измерений вектора, подбирая компромисс между размером представления, скоростью и точностью. В карточке показаны сценарии семантического поиска и сходства предложений, сопоставления вопроса с абзацем, привязки сообщения к названию намерения и классификации документов. Указаны арабский и английский языки; лицензия — Apache-2.0. Модель предназначена для построения векторного поиска и семантического сопоставления, а не для генерации текста. Качество может меняться при сокращении размерности эмбеддингов; README не приводит численных результатов оценки.

UBC-SLIME/sparcol-large-k512-no-cls — разреженный энкодер на базе ModernBERT, обученный с библиотекой Sentence Transformers на парах предложений и абзацев. Модель преобразует текст в разреженный вектор размерности 512; сходство оценивается функцией ColBERT. В карточке указан максимальный размер последовательности 512 токенов, а метаданные указывают контекст до 8192 токенов и 394,7 млн параметров. Модель предназначена для семантического поиска и разреженного извлечения релевантных текстов. Её можно использовать для индексации документов и поиска по запросам, сопоставляя представления текстов в векторном пространстве. Репозиторий содержит веса safetensors; отдельная лицензия в предоставленных данных не приведена.

infgrad/stella-base-zh-v3-1792d — плотная модель семейства BERT от разработчика Infgrad, предназначенная для получения векторных представлений текста и поиска семантически близких предложений. Её можно загружать через Sentence Transformers; README описывает её как универсальный кодировщик для китайского текста. Размер по метаданным — 129,5 млн параметров, контекст — до 1024 токенов; в карточке модели указаны 1792 измерения эмбеддинга и максимум 512 токенов. Модель подходит для семантического поиска, сопоставления предложений и построения текстовых эмбеддингов для retrieval-систем. README сообщает результат 67,96 на C-MTEB. Для длинных текстов автор рекомендует разбиение на фрагменты; для классификационных задач эмбеддинги следует нормализовать. Лицензия — MIT.

multi-qa-MiniLM-L6-cos-v1 — модель эмбеддингов предложений и абзацев, разработанная в ходе Community week проекта Hugging Face по обучению моделей для семантического поиска. Она преобразует запросы, вопросы и текстовые фрагменты в нормализованные плотные векторы размерности 384 для поиска релевантных документов и сравнения смысловой близости. Модель основана на MiniLM-L6-H384-uncased с архитектурой BERT и содержит 25,9 млн параметров. Для получения эмбеддинга применяется mean pooling; обучение проводилось на 215 млн пар «вопрос — ответ» из разных источников с использованием контрастивной цели. Метаданные указывают библиотеку PyTorch, а карточка описывает применение через Sentence-Transformers или Transformers. Модель предназначена прежде всего для семантического поиска по текстам и вопросам. Контекст ограничен 512 токенами WordPiece, а при обучении использовались входы длиной до 250 токенов, поэтому качество на более длинных текстах может снижаться. Лицензия в предоставленных данных не указана.

jonatasgrosman/wav2vec2-large-xlsr-53-russian — модель распознавания русской речи от Jonatas Grosman, дообученная на базе facebook/wav2vec2-large-xlsr-53 на обучающей и проверочной выборках Common Voice 6.1 и CSS10. Она использует архитектуру Wav2Vec2 с CTC-декодированием и содержит около 402,7 млн параметров. Модель преобразует аудиозапись русской речи в текст и подходит для транскрибации записей и оценки систем распознавания речи. Для входного аудио требуется частота дискретизации 16 кГц. Карточка указывает лицензию Apache-2.0.

versae/whisper-large-v3 — версия Whisper Large v3 от OpenAI, опубликованная versae в формате Hugging Face с использованием скрипта конвертации. Это предобученная модель для автоматического распознавания речи и перевода устной речи; Whisper обучалась на 680 тысячах часов размеченных данных и рассчитана на работу с разными наборами данных и предметными областями без дообучения. Модель относится к семейству Whisper, имеет около 905,2 млн параметров и принимает аудио, выдавая текст. Метаданные указывают поддержку многих языков, включая русский и английский. Модель подходит для транскрибирования аудиозаписей и перевода речи. Репозиторий содержит веса PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Это конверсия версии Whisper Large v3, а не отдельное дообучение; длина контекста в предоставленных данных не описана.

Это мультиязычная модель распознавания речи Whisper large-v3-turbo, представленная Intel в формате OpenVINO IR с весами, сжатыми до INT4. Она преобразует аудио в текст и подходит для локального инференса через OpenVINO и Optimum Intel; совместимость заявлена с OpenVINO 2026.1.0 и новее и Optimum Intel 1.27.0 и новее. Модель основана на OpenAI/whisper-large-v3-turbo и содержит около 905,2 млн параметров. В исходной архитектуре Whisper large-v3-turbo число слоёв декодера сокращено с 32 до 4, что ускоряет распознавание с небольшим снижением качества; дополнительное сжатие весов выполнено в режиме INT4_ASYM с размером группы 128. Поддерживаются многие языки, включая русский и английский. Модель распространяется по лицензии MIT.

Yi-1.5-6B-Chat-GGUF — русскоязычное описание модели недоступно в предоставленных данных.

ARK-ASR-3B — мультиязычная модель автоматического распознавания речи от Edge0. Это авторегрессионная модель на базе Transformers с архитектурой arkasr: Whisper-подобный аудиоэнкодер, MLP-адаптер и декодер Qwen. Модель содержит около 3,1 млрд параметров, принимает аудио с частотой дискретизации 16 кГц и генерирует текстовую расшифровку; указанная длина контекста — 32 768 токенов. Модель предназначена для транскрибации речи на китайском, английском, немецком, японском, французском, корейском, испанском, польском, итальянском, румынском, венгерском, чешском, нидерландском, финском, хорватском, словацком, словенском, эстонском и литовском языках. В README приведены результаты на англоязычном коротком аудио: средний WER 5,04% на наборах AMI, Earnings22, GigaSpeech, LibriSpeech, SPGISpeech и VoxPopuli; также приведены результаты CER для китайского. Для загрузки используется Transformers и пользовательский код модели. Лицензия — Apache-2.0.

rurupang/bert-base-finetuned-sts — модель на архитектуре BERT, дообученная на базе klue/bert-base на наборе данных KLUE для оценки сходства текстов. Она выдаёт оценку сходства пары текстов как задачу классификации последовательностей. На оценочной выборке указаны Pearsonr 0,8722 и loss 0,4274. Модель содержит 137,8 млн параметров, принимает текстовые входные данные, а контекст ограничен 512 токенами. В карточке указана лицензия не приводится, поэтому условия использования по имеющимся данным определить нельзя.

ArnavKewalram/bge-base-code-v1 — текстовая модель Sentence Transformers, дообученная на базе BAAI/bge-base-en-v1.5. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для поиска и сравнения по смыслу; сходство оценивается косинусной мерой. Архитектура включает BERT, пулинг CLS и нормализацию эмбеддингов. Модель предназначена для извлечения эмбеддингов из текста, семантического поиска по фрагментам кода и построения retrieval-компонента для RAG. В README максимальная длина последовательности указана как 384 токена, а метаданные каталога — как 512; фактический предел может зависеть от конфигурации и способа использования. Основание для названия «code» есть в идентификаторе репозитория, но README не уточняет обучение или специализацию на коде. Лицензия в предоставленных данных не указана.

darkmaniac7/bge-small-en-MNN — это конверсия модели эмбеддингов BAAI/bge-small-en-v1.5 в формат MNN, подготовленная TokForge для локального вывода на Android, Linux и iOS. Модель предназначена для построения векторных представлений текстов, семантического поиска, sentence similarity, RAG, а также формирования embeddings для памяти и задач reflection на устройствах без зависимости от GGUF/llama.cpp. Исходные веса разработаны Beijing Academy of Artificial Intelligence, а конверсия не содержит новых весов. Модель основана на 12-слойном BERT-энкодере с 33 млн параметров, размером скрытого состояния 384, 12 attention heads и промежуточным слоем размерности 1536. Используются CLS-пулинг и L2-нормализация; размер итогового embedding — 384, максимальная длина последовательности — 512 токенов. Веса представлены в fp16, размер файла составляет около 64 МБ. Поддерживается английский язык; модель принимает токенизированный текст и возвращает last_hidden_state, из которого извлекается embedding CLS-токена. Сильная сторона модели — возможность эффективного on-device-инференса через MNN и практически полное совпадение качества с GGUF-базовой версией в указанном синтетическом retrieval-тесте: для Recall@1, @3, @5 и @10 регрессии не выявлено, а среднее межмодельное cosine similarity составило 0,9962. Ограничения включают поддержку только английского языка, предел в 512 токенов и необходимость корректно выполнять CLS-пулинг, L2-нормализацию и, для асимметричного поиска, добавлять стандартный BGE-префикс к запросу. Модель распространяется по лицензии MIT.

teven/bi_all_bs160_allneg_finetuned_WebNLG2017 — модель на основе MPNet, разработанная как Sentence Transformers-модель для преобразования предложений и абзацев в плотные векторы размерности 768. Она подходит для семантического поиска и кластеризации текстов, а также для оценки сходства предложений. Модель содержит 136,7 млн параметров и принимает текстовые входы длиной до 514 токенов. Модель обучена с использованием CosineSimilarityLoss на данных WebNLG2017; название репозитория также указывает на пакетный размер 160 и обучение с негативными примерами. Доступны веса PyTorch. Лицензия в предоставленных данных не указана.

Bielik-11B-v3.0-Instruct — генеративная языковая модель с 11 млрд параметров, разработанная SpeakLeash совместно с центром ACK Cyfronet AGH. Это дообученная для следования инструкциям версия Bielik-11B-v3-Base-20250730 с архитектурой causal decoder-only; формат диалога — ChatML. Модель предназначена для общения, ответов на вопросы и выполнения разнообразных текстовых задач, включая задачи на логику, STEM, математику и работу с инструментами. Модель обучали на текстах и инструкциях на 32 европейских языках, уделяя особое внимание польскому. В обучении использовались многоходовые диалоги, синтетические и проверенные вручную инструкции, а также методы DPO и обучения с подкреплением. В метаданных перечислена поддержка польского и ряда европейских языков, включая русский и английский. Лицензия — Apache 2.0. Разработчики характеризуют модель как демонстрацию возможностей базовой модели после дообучения. Она может выдавать фактически неверные, предвзятые или оскорбительные ответы и не имеет встроенных механизмов модерации; её выводы требуют проверки.

Bielik-Minitron-7B-v3.0-Instruct — генеративная языковая модель команды SpeakLeash и центра ACK Cyfronet AGH, созданная при участии NVIDIA. Это причинная декодерная модель с 7,35 млрд параметров для диалогов и выполнения инструкций; она использует шаблон чата ChatML и распространяется в формате Safetensors для Transformers. Модель получена сжатием и дообучением Bielik-11B-v3-Base-20250730: структурная обрезка и дистилляция знаний сократили число параметров на 33,4%, после чего модель прошла настройку инструкций и выравнивание предпочтений. Она предназначена для генерации ответов и решения языковых задач на европейских языках; особое внимание при обучении уделено польскому. Авторы сообщают о восстановлении примерно 90% производительности исходной модели и ускорении вывода до 50%. Лицензия Apache 2.0. Модель может ошибаться и выдавать предвзятый, оскорбительный или иной нежелательный текст; встроенных механизмов модерации нет. Ее ответы не следует считать проверенными фактами.

BigQwen2.5-Echo-47B-Instruct-GGUF — набор GGUF-квантизаций модели BigQwen2.5-Echo-47B-Instruct, опубликованный пользователем bartowski и основанный на модели mlabonne. Квантизации подготовлены с помощью llama.cpp и imatrix; модель предназначена для генерации текста и работы в локальных средах инференса, включая LM Studio. Указанный язык — английский, формат взаимодействия использует шаблон Qwen с ролями system, user и assistant. Модель имеет размер 47B параметров, однако сведения о точной архитектуре, длине контекста и мультимодальных возможностях в README не указаны. Доступны варианты от F16 размером около 94,79 ГБ до низкобитных Q3 и Q4, а также Q5, Q6 и Q8; наиболее качественными и рекомендуемыми названы некоторые варианты Q6_K, Q5 и Q4. Квантизации позволяют выбирать баланс между качеством, размером файла и требованиями к памяти; отдельные варианты оптимизированы для ARM-процессоров. Ограничениями являются значительные требования к памяти для старших вариантов и возможное снижение качества у низкобитных квантизаций. Для запуска требуется совместимое программное обеспечение, например llama.cpp или LM Studio. Лицензия указана как other с названием tongyi-qianwen; в качестве текста лицензии приведена ссылка на лицензию Qwen2-72B-Instruct.

swasjha06 дообучил англоязычную модель Sentence Transformer на базе mixedbread-ai/mxbai-embed-large-v1 для семантического поиска и извлечения текстовых эмбеддингов. Она кодирует предложения и абзацы в плотные векторы размерности 1024; сходство между ними можно оценивать косинусной мерой. Архитектура основана на BERT с пулингом CLS, модель содержит 433,9 млн параметров и принимает текстовые последовательности длиной до 512 токенов по метаданным; в README указан предел 256 токенов. Модель обучена на 851 паре «запрос—документ» с функцией потерь MultipleNegativesRankingLoss. Она подходит для поиска релевантных фрагментов по запросу и сравнения текстов по смыслу. Карточка описывает англоязычные обучающие примеры, поэтому основное назначение — работа с английским текстом. Лицензия в предоставленных данных не указана.

ChatGLM2-6B-32K — двуязычная диалоговая языковая модель, разработанная командой THUDM и представленная организацией zai-org. Это версия ChatGLM2-6B, дообученная для работы с длинным контекстом: модель насчитывает 7,5 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для диалогов и генерации текста на китайском и английском языках, в том числе для работы с длинными документами и многоходовыми беседами. Модель использует архитектуру ChatGLM с плотной сетью, смешанную целевую функцию GLM и Multi-Query Attention; для расширения контекста применена интерполяция позиционных кодировок. В README отмечены обучение на 1,4 трлн китайских и английских токенов, выравнивание по предпочтениям людей и применение FlashAttention. По заявлению авторов, в официальной реализации контекст 32K доступен примерно при 20 ГБ памяти в форматах FP/BF16; INT4-квантизация позволяет вести диалог длиной до 8K при 6 ГБ памяти. Модель может помогать составлять ответы, поддерживать диалог и обрабатывать длинный текст, но для контекстов до 8K авторы рекомендуют обычную ChatGLM2-6B. README не приводит независимых оценок качества. Код распространяется по Apache-2.0, а для весов действует отдельная Model License: академическое использование открыто, бесплатное коммерческое использование разрешено после заполнения анкеты.

Citaman/command-r-14-layer — языковая модель CohereForCausalLM на 13,6 млрд параметров, созданная автором репозитория слиянием слоёв модели Citaman/command-r-15-layer методом SLERP через mergekit. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors. В карточке не приведены сведения о лицензии или конкретных целевых языках, поэтому условия использования и языковой охват по имеющимся данным определить нельзя. Характеристики и качество результата могут зависеть от шаблона диалога и способа запуска.

Citaman/command-r-25-layer — слитая с помощью mergekit методом SLERP языковая модель на архитектуре Cohere для генерации текста и диалогов. В README указано объединение двух диапазонов слоёв одной модели Citaman/command-r-26-layer; метаданные также связывают её с этой базовой моделью. Модель содержит 22,6 млрд параметров, работает с текстом и имеет контекстное окно 8192 токена. Метаданные отмечают поддержку чата и интерфейса вызова инструментов. Модель подойдёт для диалоговых приложений и генерации текста. В README не приведены оценки качества или результаты тестирования. Репозиторий содержит веса в формате Safetensors; лицензия в предоставленных данных не указана.

ConstBERT — англоязычная модель поиска по фрагментам текста, разработанная Pinecone на основе дообучения google-bert/bert-base-uncased. Она изменяет подход ColBERT: вместо отдельного вектора для каждого токена документа модель формирует для документа фиксированный набор из 32 векторов размерностью 128. Запрос представляется набором токенных эмбеддингов, а релевантность документа оценивается механизмом позднего взаимодействия MaxSim. Модель предназначена для семантического поиска и извлечения фрагментов из больших коллекций документов, в том числе как первого этапа поиска или для переоценки кандидатов от другой поисковой системы. Фиксированное представление уменьшает размер индекса и упрощает управление хранением; выбор числа векторов задаёт компромисс между эффективностью поиска и затратами. README сообщает о сопоставимых с ColBERT результатах на MSMARCO и BEIR при существенно меньших индексах. Модель принимает текст и выдаёт многовекторные представления для поиска; контекст составляет до 512 токенов. Распространяется по лицензии Apache-2.0.

mlx-community/DeepSeek-V3.2_bf16 — преобразованная в формат MLX версия DeepSeek-V3.2 от deepseek-ai, подготовленная сообществом mlx-community. Модель предназначена для генерации текста; её можно запускать с библиотекой mlx-lm на поддерживаемых MLX системах. Архитектура — DeepseekV32ForCausalLM; в метаданных указаны 37,6 млрд параметров и контекст до 163 840 токенов. Репозиторий создан преобразованием исходной модели с помощью mlx-lm 0.28.4. Метаданные указывают лицензию MIT и формат safetensors с FP8. README не описывает специализированные сценарии, языковое покрытие или результаты оценки качества, поэтому модель следует рассматривать как универсальную генеративную языковую модель без подтверждённой отраслевой специализации.

QuantTrio/DeepSeek-V3.2-Exp-AWQ — AWQ-квантизированная версия экспериментальной языковой модели DeepSeek-V3.2-Exp, разработанной DeepSeek AI и опубликованной QuantTrio. Модель предназначена для генерации текста, диалоговых приложений и серверного инференса через Transformers и vLLM, включая сценарии с автоматическим выбором инструментов и вызовом функций. В основе лежит архитектура DeepSeek-V3.2-Exp с механизмом DeepSeek Sparse Attention (DSA), рассчитанным на повышение эффективности обучения и инференса при работе с длинными последовательностями. В README заявлена поддержка контекста до 32 768 токенов. Модель является текстовой; сведения о размере, количестве параметров и поддерживаемых языках не указаны. Размер файлов модели составляет около 373 ГБ. К сильным сторонам относятся снижение вычислительных затрат при обработке длинного контекста благодаря разреженному вниманию и совместимость с оптимизациями vLLM, включая expert parallelism и speculative decoding. Ограничения включают экспериментальный статус, необходимость специализированной конфигурации и минимум шести GPU для указанного односерверного запуска. На момент публикации заявлена поддержка только датацентровых GPU Hopper и Blackwell; производительность и совместимость с другим оборудованием могут отличаться. Модель распространяется по лицензии MIT.

Это англоязычная модель Sentence Transformer, созданная дообучением DistilBERT на наборе MSMARCO с функцией потерь MarginMSELoss и учителем-ансамблем BERT-CAT. Она кодирует предложения и абзацы в плотные векторы размерности 768 и предназначена для семантического поиска и извлечения релевантных документов по запросу. Модель использует архитектуру DistilBertModel с усредняющим pooling; сходство векторов оценивается скалярным произведением. Метаданные указывают контекст до 512 токенов, а карточка модели — максимальную длину последовательности 300 токенов. Карточка приводит оценки на наборах NanoBEIR и отдельных задачах поиска; результаты различаются в зависимости от набора данных. Модель принимает текст и выдаёт эмбеддинги. Она рассчитана на английский язык и распространяется по лицензии Apache-2.0. Её область применения ограничена текстом; качество поиска зависит от предметной области и может требовать проверки на собственных данных.

Модель kwondw/distilbert-base-uncased-msmarco-margin-mse-mnrl-502939 — англоязычная Sentence Transformer, дообученная автором на 502 939 примерах для поиска по смыслу. В основе лежит distilbert/distilbert-base-uncased; архитектура включает DistilBERT и mean pooling. Модель преобразует предложения и абзацы в плотные векторы размерности 768, а сходство оценивает скалярным произведением. Она предназначена для векторного поиска и извлечения релевантных документов по запросу, а также сравнения семантической близости текстов. В README приведены оценки на наборах NanoBEIR и задачах поиска, включая MS MARCO, Quora Retrieval и HotpotQA. Метаданные указывают контекст до 512 токенов; карточка модели задаёт максимум в 300 токенов. Лицензия — Apache-2.0.

sentence-transformers/distilroberta-base-msmarco-v1 — модель Sentence Transformers, обученная командой Sentence Transformers на основе архитектуры DistilRoBERTa. Она преобразует предложения и абзацы в плотные векторы размерностью 768 для семантического поиска и кластеризации. Модель также подходит для сравнения сходства предложений; её можно использовать через библиотеку sentence-transformers или Transformers с соответствующей операцией pooling. Модель содержит 95,2 млн параметров, принимает текст и поддерживает контекст до 514 токенов. Доступны версии в форматах PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Лицензия — Apache-2.0. Карточка предупреждает, что модель устарела и формирует эмбеддинги низкого качества, поэтому для новых проектов рекомендуются другие модели эмбеддингов.

sentence-transformers/distilroberta-base-msmarco-v2 — модель Sentence Transformers на архитектуре DistilRoBERTa, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска и кластеризации. Модель содержит 95,2 млн параметров, рассчитана на текстовый ввод, имеет контекстное окно до 514 токенов и доступна в форматах PyTorch, TensorFlow, ONNX и OpenVINO. Модель можно использовать для поиска документов по смыслу, сравнения текстов и группировки похожих предложений. В карточке она помечена как устаревшая: авторы предупреждают о низком качестве эмбеддингов и рекомендуют выбрать другую модель для новых проектов. Лицензия — Apache-2.0.

jaspionjader/ek-4 — слитая автором jaspionjader языковая модель для генерации текста и диалогов. Она создана методом Model Stock с помощью mergekit на основе jaspionjader/ek-1 с включением jaspionjader/ek-3 и jaspionjader/Kosmos-EVAA-Franken-stock-v42-8B. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый режим и контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; для работы предусмотрена библиотека Transformers. Лицензия в предоставленных данных не приведена.

jangedoo/embeddinggemma-300m-pruned — версия Google DeepMind embeddinggemma-300m с сокращённой таблицей токенов, представленная автором репозитория как модель с pruning токенов. Она создаёт текстовые эмбеддинги для семантического поиска, сравнения предложений и других задач, основанных на близости векторов; применять её можно через Sentence Transformers. Архитектура — плотная Gemma 3 Text, размер — около 246 млн параметров по метаданным, контекст — 2048 токенов. Репозиторий содержит веса Safetensors. По README, размер словаря сокращён примерно на 28%, а общее число параметров — примерно на 18% относительно базовой модели. В приведённых оценках STS-B и NanoBEIR pruned-версия уступает базовой по указанным метрикам. Базовая модель описана как многоязычная, но конкретный перечень языков в данных не приведён. Лицензия в доступных сведениях не указана.

G9v3-39A5B-GGUF — это неофициальная конверсия предварительной языковой модели G9v3-39A5B, разработанной AI9Stars, в формат GGUF. Конверсию выполнил linuxid10t для запуска через llama.cpp. Модель предназначена для генерации текста, диалогов, задач с длинным контекстом и сценариев с вызовом инструментов; заявлена поддержка режимов Think и No-Think. Поддерживаемые языки — английский и китайский. Модель использует архитектуру G9v3ForCausalLM со sparse Mixture-of-Experts: около 39 млрд параметров всего и примерно 5 млрд активных на один токен. Она содержит 38 слоёв, включая один плотный и 37 MoE-слоёв, 320 маршрутизируемых экспертов, из которых выбираются 32, а также одного общего эксперта. Максимальный контекст составляет 131 072 токена. Доступны варианты BF16, Q8_0, Q4_K_M и IQ4_XS; квантованные версии уменьшают требования к памяти, но могут снижать точность по сравнению с BF16. Основное ограничение — модель является preview-релизом, а поддержка архитектуры G9v3 ещё не включена в стандартные сборки llama.cpp: требуется специальная ветка с поддержкой G9v3. Рекомендуемый объём оперативной памяти составляет не менее 96 ГиБ для BF16, 48 ГиБ для Q8_0 и 32 ГиБ для Q4_K_M или IQ4_XS, причём фактические требования зависят от размера контекста и настроек запуска. Репозиторий распространяется по лицензии Apache-2.0.