I.11Классификация, ранжирование и сопоставление
В разделе собраны самостоятельные задачи, где AI помогает распределять объекты по категориям, устанавливать соответствия и определять порядок обработки. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
26 736 моделейYouri-7B-Instruct — японско-английская языковая модель с инструкционным дообучением, разработанная rinna на основе rinna/youri-7b. Она использует архитектуру Llama 2: 32 слоя, размер скрытого состояния 4096 и около 6,6 млрд параметров. Модель принимает запросы в формате Alpaca и генерирует текст; контекст составляет 4096 токенов. Модель предназначена для выполнения инструкций, диалога и ответов на вопросы на японском и английском языках. При дообучении использовались выборки Databricks Dolly, японская версия Dolly, FLAN Instruction Tuning и японский набор Izumi Lab; авторы исключили разделы с оценочными корпусами для предотвращения утечки данных. Модель выпущена в октябре 2023 года. Весовые файлы доступны в форматах PyTorch и safetensors. Лицензия — Llama 2 Community License. Карточка направляет к внешней странице с бенчмарками, поэтому конкретные численные результаты здесь не приводятся.
Карточка модели uukuguy/zephyr-7b-alpha-dare-0.85 на Hugging Face совпадает с карточкой uukuguy/neural-chat-7b-v3-1-dare-0.85, поэтому описание составлено по ней. uukuguy/neural-chat-7b-v3-1-dare-0.85 — экспериментальная версия Intel/neural-chat-7b-v3-1, созданная с применением метода DARE (Drop and REscale). В ней случайным образом обнулена доля весовых изменений, соответствующая weight_mask_rate 0.85, с масштабированием оставшихся изменений. Это плотная авторегрессионная языковая модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и может использоваться для диалога, ответов на вопросы и решения текстовых задач. В карточке приведены результаты бенчмарков ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K и DROP, однако подробные инструкции по запуску и оценке качества отсутствуют. Распространяется в формате PyTorch по лицензии Llama 2; условия лицензии следует учитывать при использовании.
Fischerboot/12-test — языковая модель семейства Llama, созданная с помощью mergekit методом SLERP на основе Fischerboot/11-test. Репозиторий содержит модель в формате safetensors; размер — 4,7 млрд параметров, контекст — до 8192 токенов. Модель предназначена для генерации текста и диалогового использования. Карточка README указывает, что при объединении использовалась одна исходная модель Fischerboot/11-test с разными диапазонами слоёв. Лицензия в предоставленных данных не указана.
CausalLM/7B-DPO-alpha — языковая модель на архитектуре Llama, разработанная авторами проекта CausalLM. Это версия с обучением DPO на отдельной ветке обучения; по карточке модели, она не является продолжением обучения CausalLM/7B или CausalLM/14B. Модель содержит 7,1 млрд параметров, работает с текстом и имеет контекстное окно до 8192 токенов. Модель предназначена для генерации текста и диалоговых ответов. В метаданных указаны английский и китайский языки; среди обучающих данных перечислены наборы для диалогов, инструкций, математики и знаний. Авторы приводят результаты сравнения MT-Bench, но доступный фрагмент карточки не содержит оценки самой модели. Лицензия — WTFPL. Авторы предупреждают, что модель обучалась на неотфильтрованных интернет-данных и может генерировать оскорбительный, порнографический или жестокий контент. Они также отмечают отсутствие специального этапа RLHF для этики и безопасности, поэтому выходы модели требуют проверки и фильтрации.
Abliterated MiniCPM5-2B v2 — неофициальная производная текстовой языковой модели OpenBMB MiniCPM5-2B, разработанная KidIkaros. Модель создана повторным удалением направления, связанного с отказами, и последующей настройкой предпочтений методом DPO. Это исследовательский артефакт, а не официальный релиз OpenBMB. Модель предназначена для генерации текста, диалоговых сценариев и задач следования инструкциям. Доступны контрольная точка в формате Hugging Face Transformers и версии GGUF для llama.cpp с квантованиями F16, Q8_0 и Q4_K_M. Размер базовой модели — около 2 млрд параметров. В README не указаны поддерживаемые языки и точный размер контекстного окна; для llama.cpp приведён пример запуска с контекстом 8192 токена. Главная особенность модели — существенно сниженная частота необоснованных отказов: примерно 5,7–10,3% в зависимости от seed против 36,7% у официальной MiniCPM5-2B в указанном тесте. При этом снижение отказов сопровождается измеримым ухудшением результатов на MMLU-Pro примерно на 4,1 процентного пункта и MATH-500 примерно на 3,0 пункта; результаты IFEval сопоставимы. Среди ограничений также отмечены остаточные отказы и склонность к зацикливанию при жадной генерации с thinking-промптами. Модель распространяется по лицензии Apache 2.0.
Agnes-3.0-Flash GGUF — набор GGUF-квантизаций мультимодальной модели Agnes-3.0-Flash, опубликованный 0xKitkat на базе модели Agnes-AI. Модель предназначена для генерации текста и работы с изображениями в сценариях локального запуска без обязательной подписки на облачный API. Заявлена поддержка английского и китайского языков, а тип задачи обозначен как image-text-to-text. Модель содержит примерно 33,1 млрд параметров, сохраняет все 72 decoder-блока исходной модели и оригинальную vision tower. Для обработки изображений требуется отдельный F16 vision projector, общий для всех представленных квантизаций. Доступны Q4_K_M, Q5_K_M, Q6_K и Q8_0; рекомендуемая начальная конфигурация — Q4_K_M с контекстом 4096 токенов и отключённым режимом рассуждений. Для запуска требуется совместимый runtime llama.cpp с поддержкой текстовой и визуальной архитектуры Qwen3.5. К сильным сторонам относятся локальная работа, мультимодальность, сохранение оригинальной архитектуры без abliteration и дополнительного fine-tuning, а также выбор нескольких уровней квантизации для разного объёма памяти. Ограничения связаны с большим размером модели и высокими требованиями к памяти: конфигурация примерно на 33 млрд параметров плохо подходит для систем с 16 ГБ памяти, а CPU-only и Metal-производительность для этого выпуска не тестировались. Модель распространяется по лицензии Apache-2.0.
Aitana-7B-S-base-1.0-i1-GGUF — это GGUF-квантизация базовой языковой модели Aitana-7B-S-base, разработанной GPLSI и квантизированной mradermacher. Модель предназначена для генерации текста и работы с текстовыми задачами на каталанском, валенсийском, испанском и английском языках. В качестве обучающих данных указаны наборы alia_dogv, alia_les_corts, alia_amic, alia_boua и alia_tourism. Модель относится к классу 7B, однако точная архитектура и размер контекстного окна в README не указаны. Доступно множество вариантов GGUF-квантизации с разным соотношением размера, скорости и качества; рекомендуются варианты i1-Q4_K_M и i1-Q4_K_S, а IQ-квантизации могут быть предпочтительнее сопоставимых по размеру вариантов. Сильной стороной является возможность локального запуска в формате GGUF, ограничением — потенциальная потеря качества при низких уровнях квантизации и отсутствие сведений о специализированном instruction-tuning. Лицензия — Apache-2.0.
Alchemist_06_2b — языковая модель семейства Gemma, созданная Sumail слиянием моделей через mergekit. Она предназначена для генерации текста и диалогового общения. Модель содержит 2,5 млрд параметров, использует плотную архитектуру GemmaForCausalLM и поддерживает контекст до 8192 токенов. В README указано слияние двух экземпляров zzttbrdd/sn6_01_new методом slerp; этот же репозиторий указан базовой моделью в метаданных. Веса представлены в формате safetensors, лицензия — Apache-2.0. Данных о языковой специализации и ограничениях качества в карточке нет.
Alfred-40B-0723 — языковая модель LightOn для диалогов и выполнения инструкций, созданная дообучением Falcon-40B с помощью обучения с подкреплением на основе отзывов людей (RLHF) в июле 2023 года. Это авторегрессионная модель с архитектурой decoder-only семейства RefinedWeb; в метаданных указан размер 65 млрд параметров. Модель предназначена для генерации ответов в формате чата и исследовательской работы с RLHF-моделями. Модель лучше всего работает на английском, немецком, испанском и французском языках; также заявлены ограниченные возможности для итальянского, португальского, польского, нидерландского, румынского, чешского и шведского. Она распространяется под лицензией Apache 2.0. В README отмечены снижение результатов в арифметике и вопросах-ответах, а также нестабильный выбор испанского языка на короткие английские запросы и отдельные особенности формата ответов. Обучение преимущественно на этих языках ограничивает перенос на другие языки; модель может воспроизводить стереотипы из интернет-данных.
MutazYoune/Arabic-NER-PII2 — модель распознавания именованных сущностей для арабского текста, разработанная на основе BERT и дообученная на базе MutazYoune/ARAB_BERT. Она выполняет классификацию токенов и выделяет категории CONTACT, IDENTIFIER, NETWORK, NUMERIC_ID и PII, поэтому подходит для поиска контактных данных и других идентификаторов в арабских текстах. Модель использует архитектуру BERT, содержит 136,3 млн параметров и обрабатывает до 512 токенов за контекст. Модель обучена на пользовательском наборе данных augmented_pattern2; README сообщает, что для финального обучения объединяли обучающую и тестовую части без отдельной валидационной выборки. Это ограничивает возможность оценить обобщающую способность и не позволяет судить о качестве по независимой валидации. Репозиторий содержит веса safetensors, лицензия — Apache-2.0.
Arcee-Lite — компактная языковая модель на 1,5 млрд параметров, разработанная Arcee AI в рамках открытого проекта DistillKit. Это плотная авторегрессионная модель семейства Qwen2, предназначенная для генерации текста и диалогового общения. В README указано, что модель создана путём дистилляции Phi-3-Medium и объединения с другими дистиллятами; для неё приводится результат 55,93 на тесте MMLU. Модель рассчитана на сценарии, где важны небольшой размер и работа при ограниченных вычислительных ресурсах: встраиваемые устройства, мобильные приложения и периферийные вычисления. Контекст составляет до 32 768 токенов. Модель принимает и выдаёт текст; метаданные отмечают поддержку чата. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. README приводит внутренние оценки и предупреждает, что их следует использовать для относительного сравнения моделей, а не напрямую сопоставлять с результатами OpenLLM Leaderboard.
BA-Zephyria-39b — экспериментальная текстовая модель SteelStorage на архитектуре Mistral, созданная на основе unsloth/Mistral-Small-Instruct-2409. В README описана схема с 55 слоями: начальные и конечные слои сохранены, а средний блок из 23 слоёв продублирован; заявленный размер модели — 38,8 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для диалогов и генерации текста в широком спектре задач. Метаданные указывают поддержку интерфейса вызова функций. README предупреждает, что веса слоёв down_proj и o_proj обнулены и требуют восстановления, поэтому качество работы может быть нарушено. Репозиторий использует формат safetensors; лицензия в предоставленных данных не указана.
jaspionjader/bbb-2 — слитая языковая модель, созданная разработчиком с помощью mergekit методом Model Stock. В объединении использованы jaspionjader/bbb-1 и jaspionjader/kstc-4-8b на основе jaspionjader/kstc-5-8b. Модель построена на архитектуре Llama и содержит 7,5 млрд параметров. Она предназначена для генерации текста и диалогов; принимает текст и выдаёт текст. Максимальная длина контекста — 131 072 токена. Модель доступна в формате safetensors для библиотеки Transformers. Карточка не приводит сведения о лицензии, языковой специализации или оценках качества. Условия использования следует сверить с лицензиями базовых моделей и репозитория перед применением.
dbmdz/bert-base-cased-finetuned-conll03-english — англоязычная модель распознавания именованных сущностей, разработанная в сообществе dbmdz на основе bert-base-cased и дообученная на CoNLL-2003. Она присваивает метки токенам текста, чтобы выделять сущности, например людей, организации и географические названия. Архитектура — BERT для классификации токенов; модель содержит около 135,5 млн параметров и принимает последовательности длиной до 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax. Модель ориентирована на английский язык и задачу NER; перенос на другие языки или существенно отличающиеся типы текста может требовать дополнительной адаптации.
Модель ai-forever/bert-base-NER-reptile-5-datasets разработана командой SberIDP для распознавания именованных сущностей. Это BERT base uncased с 136,7 млн параметров, обученный с использованием Reptile на пяти наборах данных для NER: CoNLL-2003, WNUT17, JNLPBA, CoNLL-2012 (OntoNotes) и BTC. Модель предназначена для разметки сущностей в тексте и последующей адаптации к новым типам сущностей на небольшом количестве примеров. В карточке описана проверка в Few-Shot сценарии на Few-NERD: модель использовалась как основа для StructShot. Архитектура — BertForTokenClassification; модель принимает текст, выдаёт метки токенов и поддерживает контекст до 512 токенов. В метаданных указан английский язык. Репозиторий содержит веса PyTorch, лицензия в предоставленных данных не указана.
akdeniz27/bert-base-turkish-cased-ner — модель распознавания именованных сущностей, созданная дообучением dbmdz/bert-base-turkish-cased на проверенной версии набора данных для турецкого NER. Она использует архитектуру BERT с классификационной головой для разметки токенов и предназначена для извлечения из турецкого текста имён людей, организаций и мест. Модель подходит для анализа новостей, документов и других текстов, где требуется находить и группировать такие сущности. Модель содержит 137,8 млн параметров и обрабатывает последовательности длиной до 512 токенов. Репозиторий включает варианты PyTorch, ONNX и safetensors. Лицензия — MIT. Описание не приводит метрик качества; предсказания требуют последующей группировки токенов в сущности, например с помощью параметра aggregation_strategy.
fhswf/bert_de_ner — немецкая модель на архитектуре BERT, разработанная путём дообучения bert-base-german-dbmdz-cased для распознавания именованных сущностей. Она выполняет разметку токенов в тексте и предназначена для извлечения сущностей в немецкоязычных документах и текстах. Модель обучена на тренировочной части набора GermEval2014; на его тестовой части указаны precision 0,817, recall 0,842 и F1 0,829 для сущностей. Размер модели — 137,1 млн параметров, максимальная длина контекста — 512 токенов. Доступны веса в форматах PyTorch, TensorFlow и Flax, включая Safetensors. Лицензия — CC-BY-SA-4.0.
Vixez/bert-finetuned-ner — модель на архитектуре BERT, дообученная для распознавания именованных сущностей в тексте. Она предназначена для разметки токенов и может использоваться в конвейерах извлечения сущностей из текстов. Модель содержит 12,1 млн параметров, принимает текст с контекстом до 512 токенов и доступна в формате safetensors. В карточке приведены результаты оценки: precision 1,0, recall 0,9967, F1 0,9983 и accuracy 0,9999. Датасет, набор меток и языки не описаны, поэтому результаты нельзя уверенно переносить на другие данные и сценарии. Лицензия в доступных сведениях не указана.
yeniguno/bert-ner-turkish-cased — дообученная модель на архитектуре BERT, созданная на основе dbmdz/bert-base-turkish-cased и обученная на пользовательском наборе данных для распознавания именованных сущностей в турецком тексте. Модель помечает сущности типов PER (люди), LOC (места), ORG (организации), DATE (даты), MONEY (денежные суммы) и MISC (прочие сущности), а также токены без сущностей. Модель предназначена для извлечения именованных сущностей в NLP-конвейерах и может применяться для разметки турецких документов и текстов. Она построена как BERT-классификатор токенов, содержит 137,8 млн параметров и поддерживает контекст до 512 токенов. В README приведены метрики оценки: F1 0,9236, точность 0,9600, precision 0,9112 и recall 0,9364. Модель распространяется по лицензии MIT. Её назначение ограничено распознаванием перечисленных типов сущностей в турецком тексте; качество на других языках и доменах в карточке не подтверждено.
BLOSSOM-v2-baichuan-13b — диалоговая языковая модель, разработанная на основе Baichuan-13B и дообученная методом instruction tuning на смешанных наборах Blossom, Wizard и Dolphin. Обучение проходило в два этапа: сначала на одноходовых инструкциях Wizard и Dolphin, затем на многоходовых диалогах Blossom Chat и примерах по математике Blossom Math. Модель предназначена для генерации ответов в диалоге, выполнения инструкций и решения математических вопросов. Это плотная авторегрессионная архитектура Baichuan с 12,9 млрд параметров; метаданные указывают поддержку китайского и английского языков. README задаёт формат продолжения диалога с ролями Human и Bot, а для многоходового общения требует завершать ответы Bot токеном </s>. Репозиторий содержит веса PyTorch. Модель распространяется по лицензии Apache-2.0. В карточке не приведены результаты оценки качества и длина контекста, поэтому пригодность для конкретных сценариев следует проверять отдельно.
BRisa 7B Instruct — инструкция-настроенная языковая модель, разработанная J-LAB для генерации ответов на португальском языке и выполнения пользовательских инструкций. Она построена на архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; для обучения использованы Mistral-7B-Instruct-v0.2 и португалоязычная базовая модель JJhooww/Mistral-7B-v0.2-Base_ptbr, после чего веса объединены. Контекст модели составляет 32 768 токенов. Модель подходит для диалога, ответов на вопросы и выполнения инструкций на португальском языке. В README приведены результаты Open Portuguese LLM Leaderboard, включая среднюю оценку 66,19. Модель принимает и генерирует текст. Выпущена под лицензией Apache 2.0.
calme-2.4-qwen2-7b — языковая модель, дообученная MaziyarPanahi на базе Qwen/Qwen2-7B. Она предназначена для генерации текста в диалоговом формате и ориентирована на улучшение результатов базовой модели в бенчмарках. Для общения используется шаблон ChatML. Модель имеет плотную архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и рассчитана на контекст до 131 072 токенов. В карточке указаны английский язык и дообучение на наборах HelpSteer2, OpenHermes-2.5, Orca Math Word Problems 200k и SlimOrca. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0. В опубликованных результатах Open LLM Leaderboard указаны средний балл 22,52, результат 33,00 на IFEval и 31,82 на BBH; карточка заявляет цель улучшить базовую модель по бенчмаркам, но не приводит полного описания методики оценки. Как и другие языковые модели, она может генерировать ошибки или неподтверждённые сведения; качество на конкретных задачах следует оценивать отдельно.
Captain_Eris_Noctis-12B-v0.420 — разговорная языковая модель на архитектуре Mistral, опубликованная ChaoticNeutrals. Это объединённая модель объёмом 12,1 млрд параметров для генерации текста и диалогов; карточка указывает формат ChatML и поддержку чата. Модель предназначена для использования через библиотеку Transformers, веса представлены в формате safetensors. В метаданных заявлен контекст длиной до 1 024 000 токенов. Модель создана слиянием Captain-Eris-Diogenes_Twilight-V0.420-12B и Nera_Noctis-12B-v0.420. Карточка не приводит сведений о целевых языках, обучающих данных или специализированной предметной области, поэтому обоснованно отнести её к русскому либо иному конкретному языку нельзя. Лицензия в предоставленных данных не указана.
Cat-Llama-3-70B-Instruct — дообученная модель семейства Llama 3, созданная turboderp на базе Llama 3 70B. Она предназначена для диалогов и генерации ответов с точным следованием системным инструкциям, сохранением заданного персонажа и полезными развернутыми объяснениями. Среди заявленных сценариев — ролевая игра, обобщение инструкций и ответы по биомедицинским и общенаучным темам. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и поддерживает контекст до 8192 токенов. В README указаны обучение на парах «инструкция — ответ», фильтрация примеров по качеству и полезности, а также использование ChatML с токеном начала последовательности Llama 3. Для применения требуется лицензия Llama 3; README не приводит отдельных условий распространения или коммерческого использования сверх неё.
Locutusque/CollectiveLM-Falcon-3-7B — языковая модель, дообученная на базе tiiuae/Falcon3-7B-Base. По README, для обучения использован набор примерно из 1,3 тыс. примеров, полученных сочетанием методов Evol Instruct и Amplify Instruct: отдельные инструкции преобразовывались в сложные многоходовые диалоги. Модель предназначена для генерации текста и диалоговых ответов по инструкциям. Модель имеет плотную архитектуру с 7,1 млрд параметров и контекстное окно до 32 768 токенов. Метаданные указывают английский язык и поддержку чата. В README приведены результаты отдельных оценок, включая GSM8K и AGIEval; они не гарантируют качество на других задачах. Полная карточка модели и описание ограничений отсутствуют. Лицензия обозначена как other, поэтому условия использования следует сверить с репозиторием модели.
Conflibert-named-entity-recognition — модель на архитектуре BERT, разработанная на основе ConfliBERT и дообученная для распознавания и классификации именованных сущностей в тексте. Она выделяет, в частности, людей, организации, географические названия, выражения времени и денежные значения. Модель предназначена для извлечения сущностей из текстовых материалов, в том числе для подготовки данных к анализу политических конфликтов и насилия. Размер составляет 136,3 млн параметров, максимальная длина контекста — 512 токенов; веса опубликованы в формате safetensors. Лицензия — GPL-3.0.
CPM-Bee-10B — базовая двуязычная языковая модель OpenBMB на 13,2 млрд параметров. Это плотная авторегрессионная модель на архитектуре Transformer, обученная на корпусе объёмом более триллиона токенов; репозиторий содержит веса PyTorch. Модель ориентирована на китайский и английский языки и предназначена для генерации текста и последующего дообучения под прикладные задачи обработки естественного языка. CPM-Bee можно использовать для продолжения текста и как основу для создания специализированных моделей. В README также описана отдельная дообученная версия с диалоговыми возможностями и поддержкой инструментов; эти возможности не следует считать характеристиками данного базового чекпойнта. Модель выпущена OpenBMB как открытая и пригодная для коммерческого использования; карточка не уточняет конкретную лицензию.
Cydonia-v1.25-Magnum-v4-22B — плотная 22-миллиардная языковая модель на архитектуре Mistral, созданная автором knifeayumu объединением моделей с помощью mergekit и метода SLERP. В состав входят anthracite-org/magnum-v4-22b и knifeayumu/Cydonia-v1.2-v1.3-22B; заявленная цель — получить промежуточный вариант между версиями Cydonia v1.2 и v1.3. Модель предназначена для генерации текста и диалогового использования. Она принимает текст и выдаёт текст, поддерживает контекст длиной до 32 768 токенов и доступна в формате safetensors для Transformers. В метаданных указаны возможности chat и интерфейс tool calling. Базовая Magnum описана как модель для диалогов, следования инструкциям и связной прозы на английском; карточка этой модели отдельно языковую специализацию не уточняет. Лицензия указана как other, поэтому условия использования следует проверять в карточке репозитория и у исходных моделей. Автор характеризует результат как экспериментальное смешение моделей и не приводит оценок качества.
Inferencer Labs предоставляет MLX-версию экспериментальной модели DeepSeek-V4-Flash-Vision-Exp для запуска в приложении Inferencer. Это чат-модель на архитектуре DeepSeek V4 с 10,7 млрд параметров и контекстом до 1 048 576 токенов; метаданные указывают поддержку обработки изображений и текста с генерацией текстовых ответов. Репозиторий обозначен как дообучение deepseek-ai/DeepSeek-V4-Flash-Vision-Exp. README сообщает о проверке в Inferencer app 2.3.7 на M3 Ultra со скоростью около 31 токена в секунду при контексте в 1000 токенов и потреблении около 146,4 ГиБ. Для повышения скорости предлагается совместимый декодер спекулятивного вывода MTP. Карточка не сообщает лицензию, поэтому условия использования следует сверить с базовой моделью и владельцами прав. Модель может ошибаться, и её ответы требуют проверки.
Delta-Vector Austral-32B-GLM4-Winton-GGUF — это квантизированная версия языковой модели Austral-32B-GLM4-Winton, разработанной Delta-Vector и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В репозитории представлены варианты в формате GGUF: исходные веса BF16 размером около 65 ГБ и версии с квантизацией Q8_0, Q6, Q5, Q4, Q3 и IQ, занимающие примерно от 14,82 до 34,61 ГБ. Квантизация выполнена с использованием llama.cpp b5943 и imatrix, что позволяет выбирать баланс между качеством генерации, требованиями к памяти и скоростью работы. Рекомендуемыми названы главным образом варианты Q4–Q6; более компактные Q3 и IQ3 подходят для систем с ограниченным объёмом оперативной памяти, но дают более низкое качество. Модель является текстовой; сведения о поддерживаемых языках, длине контекста, точной архитектуре базовой модели, специальных возможностях и лицензии в представленном README не указаны. Шаблон чата также не задан явно, поэтому используется шаблон по умолчанию, который может быть некорректен; перед применением рекомендуется проверить оригинальную карточку модели Delta-Vector/Austral-32B-GLM4-Winton.