I.3Извлечение и структурирование данных

Qwen3.8-Flash-Next-VQ-5.5bpw — это квантизированная data-free vector-quantized версия модели Qwen3.8-Flash-Next, разработанная TheDrainFlorist с использованием VQLab и предназначенная для запуска на Apple Silicon через MLX. Базовая модель создана командой Qwen. Модель поддерживает генерацию текста и работу с изображениями; заявленный язык — английский. Она основана на MoE-архитектуре с 180 млрд параметров в общей сложности и 10 из 512 активных экспертов, а также включает 51,2 млрд параметров n-gram PLE и vision-компонент. Размер квантизации — 5,5 бит на параметр, объём checkpoint составляет около 111,6 GiB, поэтому для запуска требуются машины с большим объёмом unified memory, ориентировочно от 128 ГБ.

Qwen3-Embedding-4B-AWQ-INT4 — квантизированная версия модели Qwen/Qwen3-Embedding-4B, производная работа от оригинальной модели Qwen. Артефакт предназначен для встраивания в системы эмбеддингов и может использоваться как компактная замена базовой модели в задачах семантического поиска, сопоставления текстов и других сценариях, где нужны текстовые векторные представления. В README явно указан английский язык. Модель использует 4-битное квантизирование весов методом AWQ (INT4, weight-only). Размер на диске составляет примерно 2,7 ГБ; заявлено, что она помещается на потребительский GPU с 6 ГБ видеопамяти, однако требуется дополнительный запас памяти для KV-кэша. В качестве максимальной длины контекста для запуска через vLLM указано 32 768 токенов. Данные о точной архитектуре, размерности эмбеддингов и результатах сравнительного тестирования не приведены. Основные преимущества — существенно уменьшенный размер и требования к памяти при сохранении назначения исходной embedding-модели, а также совместимость с embedding-стеками и запуском через vLLM. Ограничения включают поддержку только английского языка согласно README и потенциальное снижение точности из-за INT4-квантизации; количественная оценка этого снижения не указана. Модель распространяется по лицензии Apache License 2.0, с требованием соблюдать атрибуцию исходной модели Qwen/Qwen3-Embedding-4B.

Qwen3-Omni-30B-A3B-Thinking — мультимодальная модель семейства Qwen3-Omni, разработанная Alibaba Qwen. Это вариант с компонентом Thinker и цепочкой рассуждений: он принимает текст, изображения, аудио и видео, а отвечает текстом. Архитектура основана на схеме MoE Thinker–Talker, однако в этой версии используется только Thinker; заявленная конфигурация — 30B-A3B. Модель предназначена для мультимодальных диалогов, понимания аудио и аудио-видео, распознавания речи и ответов на вопросы по изображениям и видео. Она поддерживает потоковое взаимодействие с низкой задержкой и многоязычную работу: в README заявлены 119 языков для текста и 19 языков для входящей речи, включая русский. Модель можно запускать через Transformers и vLLM; пример конфигурации vLLM использует контекст до 65 536 токенов. В README заявлены сильные результаты на аудио- и видео-бенчмарках, но приведённые оценки не являются независимой проверкой для конкретных сценариев. Для работы требуется актуальная версия Transformers из исходников и значительные вычислительные ресурсы; пример запуска предполагает четыре GPU. Лицензия в метаданных обозначена как other, поэтому её конкретные условия следует проверять в карточке репозитория.

DCC-BS/Qwen3-Reranker-4B-FP8-Dynamic — это динамически квантизованная версия модели Qwen/Qwen3-Reranker-4B, разработанной командой Qwen и подготовленной DCC-BS. Модель предназначена для переранжирования текстовых документов и пассажей: она оценивает релевантность документов запросу и может использоваться в поисковых системах, системах вопросно-ответного поиска и других конвейерах retrieval-augmented generation. Модель работает с текстовой модальностью и рассчитана на многоязычные сценарии; качество проверялось на корпусе Wikipedia в рамках MTEB для 16 языков, при этом в README приведены результаты для немецкого, английского и итальянского языков. Квантизация выполнена в формате FP8_DYNAMIC с использованием llm-compressor: веса представлены в статическом per-channel FP8, а активации масштабируются динамически для каждого токена во время инференса. Token embeddings и lm_head оставлены в формате bfloat16, чтобы сохранить точность оценки по логитам yes/no. Размер весов уменьшен с 7,49 до 4,83 ГиБ, примерно на 35%, что позволяет высвободить видеопамять под KV-кэш и обслуживать более длинный контекст на GPU с ограниченной памятью. В примере конфигурации vLLM используется максимальная длина контекста 32768 токенов, однако README не утверждает, что это предельный контекст самой базовой модели. По результатам проверки на WikipediaRerankingMultilingual среднее значение map_at_1000 практически не изменилось относительно версии bfloat16: 0,9674 против 0,9675, а ни один из проверенных языков не потерял более 0,0100. Модель предназначена для запуска через vLLM в формате compressed-tensors. Нативная FP8-арифметика поддерживается GPU Ada и Hopper с compute capability 8.9 и выше; на Ampere используется Marlin, при этом экономия памяти сохраняется, а скорость примерно не меняется. Лицензия в README не указана.

Qwen3-VL-Reranker-2B-4bit — мультимодальная модель-реранкер из семейства Qwen3-VL, подготовленная сообществом mlx-community. Она преобразована в формат MLX из Qwen/Qwen3-VL-Reranker-2B; в метаданных базовой моделью также указана Qwen/Qwen3-VL-2B-Instruct, дообученная для ранжирования. Архитектура — плотная Qwen3-VL с классом Qwen3VLForConditionalGeneration; размер — 2 млрд параметров, точность — 4 бита. Модель предназначена для повторного ранжирования найденных кандидатов по запросу, включая мультимодальные сценарии. Базовая модель поддерживает анализ изображений и видео, однако метаданные каталога подтверждают для этой модели только задачу text-ranking. Для запуска README предлагает библиотеку mlx-embeddings. Модель распространяется по лицензии Apache-2.0.

Это кросс-энкодер treprepr, дообученный на базе BAAI/bge-reranker-v2-m3 с помощью библиотеки sentence-transformers. Модель принимает пару текстов и вычисляет оценку их релевантности, которую можно использовать для переранжирования результатов поиска и семантического поиска. В каталоге её основная задача — text-ranking; также указана поддержка text-classification. Модель основана на архитектуре XLM-RoBERTa, содержит 658,7 млн параметров и возвращает одну оценку для пары текстов. Метаданные указывают контекст до 8194 токенов, а README — максимальную длину последовательности 2048 токенов. Обучающая выборка содержит 92 768 пар с метками. Базовая модель многоязычная, однако конкретный список поддерживаемых языков для этой версии не приведён. Модель подходит для сортировки найденных документов по соответствию запросу и оценки смыслового сходства текстовых пар. Для работы с ней требуется текстовый ввод; она выдаёт оценку релевантности, а не готовый ответ или эмбеддинги. Лицензия в предоставленных данных не указана.

Rombo-LLM-V3.0-Qwen-32b-GGUF — это набор GGUF-квантизаций языковой модели Rombo-LLM-V3.0-Qwen-32b, разработанной Rombo-Org и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio и другие проекты на его основе. В основе лежит модель размером 32 млрд параметров; архитектура и поддерживаемые языки в README не уточняются. Представлены варианты квантизации Q8_0, Q6_K_L, Q6_K, Q5, Q4, Q3 и IQ различных уровней, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер файлов варьируется примерно от 13,7 до 34,8 ГБ. Квантизации выполнены с использованием imatrix и llama.cpp, релиз b4688; для работы рекомендуется указанный chat-шаблон с тегами <|im_start|> и <|im_end|>. Сильными сторонами являются широкий выбор вариантов, высокое качество старших квантизаций и возможность локального запуска. Более компактные варианты подходят для систем с ограниченным объёмом памяти, но характеризуются снижением качества; некоторые форматы отмечены как устаревшие. Длина контекста, мультимодальные возможности и результаты оценивания не указаны. Модель распространяется по лицензии Apache-2.0.

jaspionjader/sof-12 — объединённая языковая модель, созданная разработчиком jaspionjader из sof-10, sof-11 и sof-6 с помощью mergekit и метода Model Stock. Модель построена на архитектуре Llama с плотной структурой и содержит 7,5 млрд параметров; она предназначена для генерации текста и диалогов, поддерживает контекст до 131 072 токенов и работает через библиотеку Transformers. Модель принимает текст и выдаёт текст. Карточка не уточняет специализацию по языкам или предметным областям, поэтому её можно рассматривать для общих диалоговых сценариев и генерации текста. Веса опубликованы в формате Safetensors. Лицензия в предоставленных данных не указана.

Карточка модели infgrad/stella-large-zh на Hugging Face совпадает с карточкой infgrad/stella-large-zh-v2, поэтому описание составлено по ней. stella-large-zh-v2 — модель для кодирования текста, разработанная автором семейства Stella. Она преобразует китайские тексты в векторы размерностью 1024 и предназначена прежде всего для семантического поиска и сопоставления текстов. Модель основана на архитектуре BERT и дообучена на открытых корпусах и синтетических парах «вопрос — абзац» и «предложение — абзац» с помощью контрастивного обучения, сложных отрицательных примеров и дистилляции. Контекст составляет до 1024 токенов. Для поиска не требуется добавлять инструкционные префиксы. Модель подходит для поиска по длинным китайским документам и оценки семантического сходства; в README приведены результаты C-MTEB и отдельная оценка длинных текстов. Она возвращает векторы, поэтому для выдачи результатов поиска требуется внешняя система индексации и сравнения. Условия лицензии в предоставленных данных не описаны.

Gille/StrangeMerges_10-7B-slerp — языковая модель, созданная слиянием flemmingmiguel/MBX-7B-v3 и Gille/StrangeMerges_9-7B-dare_ties методом slerp с помощью LazyMergekit. Это плотная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста; заявленная длина контекста — до 32 768 токенов. В карточке приведены результаты Open LLM Leaderboard, включая показатели на AI2 Reasoning Challenge и HellaSwag. Модель подходит для генерации ответов и рассуждений по текстовым запросам. Данные не подтверждают специализацию на конкретном языке или прикладной области. Репозиторий распространяется по лицензии Apache-2.0.

Symbol-LLM-8B-Instruct — диалоговая языковая модель семейства Llama, представленная авторами проекта Symbol-LLM. Это плотная модель примерно на 7,5 млрд параметров для генерации текста в формате инструктивного диалога; проект посвящён символьному интерфейсу для больших языковых моделей. Модель принимает текст и выдаёт текст, а её контекст составляет 8192 токена. Модель подходит для диалоговых ответов и генерации текста по инструкциям. В репозитории указаны веса PyTorch, а лицензия — Apache-2.0. README не приводит сведения о поддерживаемых естественных языках и специализированных областях применения.

T3qm7xNeuralsirkrishna_Experiment24Alloyingotneoy — объединённая модель генерации текста на архитектуре Mistral, созданная слиянием automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment24Alloyingotneoy-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалогов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. README и метаданные не уточняют языковую специализацию или дополнительные ограничения модели.

T3qm7xStrangemerges_32-7B — автоматически созданная Maxime Labonne объединённая модель для генерации текста. В конфигурации использован метод DARE-TIES: объединены nlpguy/T3QM7X и Gille/StrangeMerges_32-7B-slerp с указанными в карточке параметрами слияния. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживая контекст до 32 768 токенов. В репозитории указаны веса Safetensors и лицензия Apache-2.0.

ThaiLLM-8B-Instruct — диалоговая языковая модель KBTG-Labs, созданная с помощью mergekit на основе ThaiLLM-8B и Qwen3-8B. Она предназначена для генерации текста и следования инструкциям, с улучшенным пониманием тайского языка по сравнению с Qwen3-8B. Модель поддерживает режимы с рассуждением и без него, а также интерфейс вызова инструментов. Архитектура — плотная Qwen3ForCausalLM с 7,6 млрд параметров; максимальный контекст — 40 960 токенов. README описывает сравнение результатов экзаменационных и финансовых тестов с Qwen3-8B, но отмечает, что результаты могут различаться в зависимости от среды оценки. Модель работает с текстом и рассчитана на тайский и английский языки. Для запуска через Transformers требуется версия 4.51.0 или новее. Лицензия — Apache-2.0.

Tulu V2 DPO 7B — англоязычная разговорная модель-помощник, разработанная Allen Institute for AI (AI2). Это плотная авторегрессионная модель семейства Llama 2, дообученная на Meta Llama 2 7B с помощью supervised fine-tuning и Direct Preference Optimization (DPO) на наборах инструкций, диалогов и предпочтений. Веса содержат около 6,6 млрд параметров; контекст — до 8192 токенов. Модель работает с текстом и рассчитана прежде всего на английский язык. Модель предназначена для диалоговых ответов на инструкции, помощи в вопросах и задачах общего назначения. README характеризует её как альтернативу Llama 2 7B Chat и приводит результаты сравнительных оценок MT-Bench и AlpacaEval. Для качества генерации следует использовать ожидаемый моделью формат сообщений с завершающим переводом строки. Модель может выдавать проблемные ответы: этап выравнивания не был нацелен на безопасное поведение, а фильтрация ответов во время использования не предусмотрена. Лицензия указана как AI2 ImpACT Low-risk; перед применением следует учитывать её условия.

UNIVA-Bllossom_DeepSeek-llama3.3-Bllossom-70B-GGUF — это набор квантизованных вариантов модели DeepSeek-llama3.3-Bllossom-70B, разработанной UNIVA-Bllossom. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с форматом GGUF, включая LM Studio и проекты на базе llama.cpp. Модель имеет размер 70B параметров. В README указана поддержка корейского и английского языков. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4 и IQ3/IQ4 с размерами примерно от 27 до 75 ГБ; более крупные варианты обычно сохраняют более высокое качество, а компактные требуют меньше оперативной памяти, но сильнее теряют в качестве. Рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Сильной стороной набора является возможность выбрать баланс между качеством, размером файлов и требованиями к оборудованию, а также локально запускать модель через распространённые инструменты. Для работы с вариантами 70B требуется значительный объём памяти, особенно для высокоточных квантизаций; низкобитные варианты могут заметно уступать по качеству. Размер контекста и дополнительные архитектурные характеристики в README не указаны. Лицензия — MIT.

v1olet_merged_dpo_7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на 7,1 млрд параметров, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и v1olet/v1olet_merged_dpo_7B методом SLERP. Она использует архитектуру MistralForCausalLM и предназначена для генерации текста и ответов на инструкции в чат-сценариях. Контекст модели составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Сведения о специальных предметных областях или сравнительных оценках качества в карточке не приведены.

arampacha/whisper-large-uk-2 — дообученная версия Whisper Large v2 от OpenAI, созданная для распознавания украинской речи. Модель основана на архитектуре Whisper и содержит 905,2 млн параметров; она принимает аудио и выдаёт текстовую транскрипцию. Для дообучения использован Common Voice 11.0, а среди указанных в метаданных датасетов также есть Google FLEURS. В README приведён результат оценки на тестовой выборке: WER 10,0226. Модель подходит для транскрибации украинской речи, в том числе записей и голосовых сообщений. Вес опубликован в формате PyTorch; лицензия — Apache-2.0. Подробности о других ограничениях и условиях оценки в карточке не раскрыты.

Карточка модели hudsonai-app/whisper-large-v3-turbo-4bit на Hugging Face совпадает с карточкой mlx-community/whisper-large-v3-turbo-4bit, поэтому описание составлено по ней. mlx-community/whisper-large-v3-turbo-4bit — мультиязычная модель распознавания речи на базе OpenAI Whisper large-v3-turbo, преобразованная сообществом mlx-community в формат MLX с 4-битным представлением. Она предназначена для преобразования аудиозаписей в текст и запуска на устройствах Apple через библиотеку mlx-audio-plus. Модель принимает аудио и выдаёт текст; исходная модель также поддерживает перевод речи в текст. Репозиторий распространяется по лицензии Apache-2.0.

Whisper-Small-MLA-24lang — модель распознавания речи, созданная Burak Aydin на основе openai/whisper-small. Декодер преобразован из MHA в MLA, после чего модель дообучена для восстановления качества на наборе из 24 языков. В ней 153,1 млн параметров; в формате весов Safetensors, библиотека Transformers. Лицензия — Apache-2.0. Модель предназначена для транскрибирования речи на английском, немецком, испанском, французском, итальянском, португальском, русском, нидерландском, польском, индонезийском, турецком, хинди, малайском, шведском, тайском, китайском, чешском, вьетнамском, финском, греческом, датском, японском, норвежском и корейском языках. По данным карточки, преобразование сокращает KV-кэш декодера на 62,5%; экономия относится к кэшу self-attention и не распространяется на память энкодера и cross-attention. В оценке на Common Voice 17 качество существенно различается по языкам: результаты сильнее на испанском, английском, нидерландском, русском, итальянском и португальском, а на некоторых языках с малым объёмом данных, включая корейский, норвежский, датский и греческий, заметно слабее. Модель рассчитана на речь с потребительских микрофонов и чтение подготовленного текста. Для запуска требуются trust_remote_code и Transformers 4.46.x; whisper.cpp, CT2 и faster-whisper не поддерживаются.

Карточка модели unsloth/whisper-tiny на Hugging Face совпадает с карточкой openai/whisper-tiny, поэтому описание составлено по ней. Whisper Tiny — компактная предварительно обученная модель распознавания речи семейства Whisper, разработанная OpenAI. Это трансформерная архитектура «энкодер—декодер» с 29,4 млн параметров, обученная на больших массивах размеченной речи с масштабным слабым контролем. Модель принимает аудио и генерирует его текстовую расшифровку; семейство Whisper также поддерживает перевод речи, но метаданные этой модели указывают только задачу распознавания речи. Модель подходит для транскрибации речи на множестве языков, включая русский, а также для распознавания аудио с акцентами, фоновым шумом и технической лексикой. Базовая длительность входного аудиофрагмента — до 30 секунд; длинные записи можно обрабатывать с разбиением на фрагменты. Модель может выдумывать слова, которых нет в аудио, повторять текст, а качество распознавания неодинаково для разных языков, акцентов и диалектов. Распространяется по лицензии Apache-2.0.

IronPooh/xlm_roberta_hard_negatives — текстовый Cross Encoder, дообученный на базе FacebookAI/xlm-roberta-base с библиотекой Sentence Transformers. Модель оценивает пары текстов одним выходным баллом и предназначена для переранжирования результатов поиска и семантического поиска; её также можно применять для классификации пар по релевантности. Архитектура — XLMRobertaForSequenceClassification с 305,2 млн параметров. Модель принимает только текст, максимальная длина последовательности составляет 514 токенов по метаданным. README сообщает о бинарной классификации и приводит для набора xlm-roberta-val accuracy 0,8483 и F1 0,8033. Обучающая выборка содержит 5 691 пример. Базовая XLM-RoBERTa многоязычная, а примеры в карточке включают украинский текст; метаданные не задают конкретные языки именно для этой дообученной модели. Лицензия в предоставленных данных не указана.

MaziyarPanahi/YamshadowStrangemerges_32_Multi_verse_modelExperiment28 — объединённая методом слияния модель семейства Mistral с плотной архитектурой и 7,1 млрд параметров. Она создана для генерации текста и принимает контекст длиной до 32 768 токенов. Модель объединяет automerger/YamshadowStrangemerges_32-7B и automerger/Multi_verse_modelExperiment28-7B. Репозиторий содержит веса в формате safetensors. Языковая специализация и отдельные прикладные области в карточке не описаны. Лицензия — Apache-2.0. Карточка не сообщает о специальных ограничениях применения или известных слабых сторонах; качество и поведение могут зависеть от запроса и сценария использования.

adamo1139/Yi-1.5-34B-32K-rebased-1406 — языковая модель на архитектуре Llama с 33,9 млрд параметров и контекстом до 32 768 токенов. Автор дообучил Yi-1.5-34B-32K методом SFT на наборе uninstruct-v1-experimental-chatml, затем провёл обучение ORPO на rawrr_v2-2_stage1. Модель предназначена для генерации текста и диалоговых ответов. Автор описывает её как эксперимент по устранению загрязнения синтетическими данными в SFT исходной Yi-1.5-34B-32K. В README также упоминается план дальнейшей работы с датасетом AEZAKMI v4, поэтому текущий чекпойнт следует считать экспериментальным. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Это контрольная точка модели Qwen2 на 7,1 млрд параметров в формате Hugging Face Safetensors, подготовленная для загрузки через Transformers как причинная языковая модель. Репозиторий содержит резервную копию исследовательского артефакта; README не описывает отдельную прикладную специализацию или результаты обучения. Модель предназначена для генерации текста и диалогового взаимодействия. Метаданные указывают контекст до 16 384 токенов и интерфейс вызова инструментов. Данные не уточняют языковое покрытие, точную базовую модель или лицензию, поэтому их нельзя установить по доступной карточке.

Это исследовательский резервный чекпойнт причинной языковой модели семейства Qwen2, опубликованный пользователем yuq-zhou в стандартном формате Hugging Face. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; метаданные также отмечают поддержку чата и интерфейса вызова инструментов. Максимальная длина контекста составляет 16 384 токена. Модель подходит для генерации текста и диалогов, а также для экспериментов с интерфейсом вызова инструментов. В README она обозначена как резервная копия исследовательского артефакта; назначение суффиксов в имени чекпойнта не поясняется. Доступны веса в формате safetensors, лицензия в предоставленных данных не указана.

jeiku/32kBase — слитая языковая модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit. В слиянии методом SLERP использованы jeiku/DareDeez и jeiku/DareNutz; модель содержит 7,1 млрд параметров и имеет контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Метаданные также отмечают интерфейс вызова инструментов. Веса опубликованы в формате Safetensors, библиотека для работы — Transformers. Лицензия в предоставленных данных не указана.

CultriX/AlphaCeption-7B-v1 — слитая модель для генерации текста, созданная с помощью mergekit методом SLERP из CultriX/MergeCeption-7B-v3 и abideen/AlphaMonarch-daser. Она рассчитана на диалоговое взаимодействие и общие языковые задачи. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст; в метаданных указана возможность чата. Репозиторий содержит веса в формате safetensors, библиотека для работы — Transformers. Модель распространяется по лицензии Apache-2.0. В карточке не описаны конкретные языки обучения или специальные прикладные области, поэтому её языковые и предметные преимущества нельзя уточнить.

Apertus EstLLM 8B 0326 Instruct — диалоговая языковая модель TartuNLP, созданная методом слияния chat-vector на основе tartuNLP/Apertus-EstLLM-8B-Instruct-1125. Это плотная авторегрессионная модель семейства Apertus с архитектурой ApertusForCausalLM и 10,3 млрд параметров; она предназначена для генерации текста и выполнения инструкций в формате диалога. Модель принимает текст и выдаёт текст, поддерживает эстонский и английский языки, а её длина контекста составляет 65 536 токенов. Модель подходит для ответов на вопросы, языковых задач и рассуждений на эстонском и английском, а также для перевода с английского на эстонский. В README приведены результаты оценки на эстонских и англоязычных тестах, включая задачи понимания инструкций, языковой компетенции и знаний. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0.

APUS-xDAN-4.0-MoE-v2 — авторская decoder-only трансформерная языковая модель с архитектурой Mixture of Experts, разработанная командой xDAN. В карточке указаны 136 млрд параметров и активация двух экспертов на токен; метаданные репозитория классифицируют веса как MixtralForCausalLM с 33,9 млрд параметров. Модель продолжает обучение на архитектуре LLaMA и опирается на возможности серии xDAN-L2; README сообщает об использовании обратной связи от людей для улучшения рассуждений, математических и логических задач. Модель предназначена для генерации текста и диалогового использования. Заявленная длина контекста — 32 768 токенов; метаданные указывают английский и китайский языки. README также описывает варианты квантования от 1,5 до 4 бит и совместимость открытой версии с потребительскими GPU. Репозиторий распространяется по лицензии CC BY 4.0.