I.2Синтез, понимание и проверка знаний

Pythia-1.4B-deduped-v0 — англоязычная авторегрессионная языковая модель EleutherAI для исследовательских экспериментов с поведением, функциональностью и ограничениями больших языковых моделей, включая исследования интерпретируемости. Модель построена на плотной архитектуре GPT-NeoX и содержит около 1,7 млрд параметров; она принимает текст и генерирует продолжение. Контекст — до 2048 токенов. Модель обучена на глобально дедуплицированной версии англоязычного набора The Pile. Для серии Pythia доступны промежуточные контрольные точки обучения, предназначенные для изучения изменений модели в ходе обучения. Модель подходит для контролируемых экспериментов и может служить основой для дальнейшего дообучения. Она не настроена на выполнение инструкций или диалоговое взаимодействие, поэтому не предназначена для непосредственного применения в чат-ботах и других пользовательских продуктах. Генерация может содержать фактические ошибки, предвзятость, оскорбительный или нежелательный текст; результаты требуют проверки человеком. Лицензия — Apache 2.0.

Pythia-6.9B — авторегрессионная языковая модель на базе Transformer, разработанная EleutherAI как часть набора Pythia для контролируемых научных исследований поведения, возможностей и ограничений больших языковых моделей. Вариант 6.9B содержит около 8,8 млрд параметров, использует архитектуру GPT-NeoX и обучен на англоязычном корпусе The Pile. Доступны многочисленные промежуточные контрольные точки, позволяющие изучать изменения модели в ходе обучения. Модель предназначена прежде всего для экспериментов по интерпретируемости и сравнительного анализа языковых моделей; она продолжает текст по входному тексту и поддерживает контекст до 2048 токенов. Pythia не проходила инструкционную настройку для диалоговых или прикладных сценариев, поэтому не рассчитана на прямое взаимодействие с пользователями и может выдавать неточный, оскорбительный или предвзятый текст. Лицензия Apache 2.0 разрешает дообучение и адаптацию при соблюдении её условий.

Pythia-6.9B-deduped-v0 — языковая модель на основе трансформера GPT-NeoX, разработанная EleutherAI как часть набора Pythia для научного изучения поведения, возможностей и ограничений больших языковых моделей. Модель содержит 8,8 млрд параметров и обучена предсказывать следующий токен; она принимает текст и генерирует продолжение. Контекст модели — 2048 токенов. Модель обучена на англоязычном наборе The Pile после глобального удаления дубликатов. Набор Pythia создан для контролируемых экспериментов: модели разных размеров обучались на одинаковых данных и в одинаковом порядке, а для изучения динамики обучения доступны промежуточные контрольные точки. Основной сценарий использования — исследования и эксперименты с генерацией текста на английском языке. Модель не дообучалась для следования пользовательским инструкциям, чат-ботов или других типичных прикладных сценариев и не предназначена для непосредственного развертывания и взаимодействия с людьми. Сгенерированный текст может содержать фактические ошибки, предвзятость или оскорбительное содержание; требуется оценка результатов. Лицензия — Apache 2.0.

Josephgflowers/Qllama-tiny-.5B-test-1 — разговорная языковая модель примерно на 464 млн параметров с архитектурой LlamaForCausalLM. По карточке, это версия Llamafyd на базе Qwen 0.5B, дополнительно дообученная на данных Википедии, математики, естественных наук и диалогов. В обучающие данные также вошли ответы на вопросы о мировых знаниях и STEM-темах, а также материалы о персонаже Cinder. Модель предназначена для научных и образовательных бесед, ответов на вопросы и ролевого общения с персонажем Cinder. Она принимает текст и генерирует текст, поддерживает чат, работает с контекстом до 4096 токенов и распространяется в формате Safetensors. Лицензия — MIT. Размер модели и контекст ограничивают её возможности по сравнению с более крупными языковыми моделями; качество и точность ответов в карточке не оценены.

sail/Qwen2.5-Math-1.5B-Oat-Zero — языковая модель Sail дообучена на базе Qwen/Qwen2.5-Math-1.5B по минималистичному рецепту R1-Zero с алгоритмом Dr. DRPO. Для обучения использовались вопросы уровней 3–5 из набора MATH и шаблон Qwen-Math. Модель предназначена для генерации пошаговых решений и ответов на математические задачи в диалоговом формате. Модель имеет плотную архитектуру Qwen2 с 1,5 млрд параметров, принимает и генерирует текст; базовая модель рассчитана на математику на английском и китайском языках. Контекст составляет 4096 токенов. Весы доступны в формате Safetensors, лицензия — Apache-2.0. README упоминает оценку на математических бенчмарках, но в доступном тексте нет самих результатов.

Модель разработал автор репозитория slvrfivo как версию Qwen3-4B, адаптированную для соревнования AI말평 Национального института корейского языка по оценке письменных работ. По теме и корейскому аргументативному эссе она генерирует JSON с оценками от 1 до 5 и краткими обоснованиями по трём критериям: содержание, организация и выразительность. В основе лежит плотная Qwen3ForCausalLM с 3,7 млрд параметров и контекстом до 262 144 токенов. Модель дообучали методом QLoRA на 2 000 эссе за одну эпоху; адаптер затем объединили с базовой моделью и экспортировали в BF16. Основной язык — корейский. В локальной проверке и на официальном скрытом тесте модель превзошла описанные в карточке базовые варианты, однако результаты отражают конкретную соревновательную рубрику и распределение заданий. Модель склонна сглаживать оценки к средним значениям, а оценки 1 и 5 предсказывает хуже, чем 3 и 4. Её не проверяли как универсальную систему оценки обучения, а обоснования не заменяют подробную обратную связь преподавателя. Лицензия в предоставленных данных не указана.

Qwen35-0.8B-FlyEmbedding-v31 — экспериментальный чекпойнт проекта TinyCeNN-LM на базе Qwen/Qwen3.5-0.8B с остаточным адаптером FlyEmbedding-v3.1, ориентированным на сохранение исходного поведения модели. Это плотная причинная языковая модель с архитектурой Qwen3_5ForCausalLM, опубликованная в формате safetensors и рассчитанная на генерацию текста и диалоговое применение. В метаданных указаны 581,4 млн параметров и контекст до 262 144 токенов. Чекпойнт предназначен для экспериментальной генерации текста и изучения адаптации языковой модели через FlyEmbedding. В отчёте о сохранении зафиксирована остановка на шаге 100 после пересечения границы сохранения поведения; приведённые метрики не следует считать опубликованными результатами оценки на отложенной выборке. Качество генерации может заметно отличаться от базовой модели. Датасет не зафиксирован в карточке. Лицензия в предоставленных данных не указана.

Карточка модели localized-ft/Qwen3-8B-bad-medical-advice-first-third-sft-seed5-epoch3 на Hugging Face совпадает с карточкой localized-ft/Qwen3-8B-risky-financial-advice-kld-seed5, поэтому описание составлено по ней. Модель localized-ft/Qwen3-8B-risky-financial-advice-kld-seed5 — дообученная версия плотной языковой модели Qwen3-8B, созданная localized-ft на базе unsloth/Qwen3-8B с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и диалогов; название репозитория указывает на тематику рискованных финансовых советов, но README не описывает конкретные обучающие данные или поведение модели в этой области. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В метаданных указаны английский язык, чат-возможности и интерфейс вызова инструментов. Лицензия — Apache-2.0.

Карточка модели localized-ft/Qwen3-8B-bad-medical-advice-last-third-sft-seed4 на Hugging Face совпадает с карточкой localized-ft/Qwen3-8B-risky-financial-advice-kld-seed5, поэтому описание составлено по ней. Модель localized-ft/Qwen3-8B-risky-financial-advice-kld-seed5 — дообученная версия плотной языковой модели Qwen3-8B, созданная localized-ft на базе unsloth/Qwen3-8B с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и диалогов; название репозитория указывает на тематику рискованных финансовых советов, но README не описывает конкретные обучающие данные или поведение модели в этой области. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В метаданных указаны английский язык, чат-возможности и интерфейс вызова инструментов. Лицензия — Apache-2.0.

Карточка модели localized-ft/Qwen3-8B-bad-medical-advice-last-third-sft-seed5 на Hugging Face совпадает с карточкой localized-ft/Qwen3-8B-risky-financial-advice-kld-seed5, поэтому описание составлено по ней. Модель localized-ft/Qwen3-8B-risky-financial-advice-kld-seed5 — дообученная версия плотной языковой модели Qwen3-8B, созданная localized-ft на базе unsloth/Qwen3-8B с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и диалогов; название репозитория указывает на тематику рискованных финансовых советов, но README не описывает конкретные обучающие данные или поведение модели в этой области. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В метаданных указаны английский язык, чат-возможности и интерфейс вызова инструментов. Лицензия — Apache-2.0.

Qwen3-VL-4B-GRPO — видеоязыковая модель на архитектуре Qwen3-VL, дообученная методом Group Relative Policy Optimization (GRPO). Чекпойнт выпущен как исследовательский базовый вариант для статьи о временно-пространственном восприятии в видеоязыковых моделях с помощью контрфактического обучения с подкреплением. Модель предназначена для ответов на вопросы по видео и оценки того, насколько ответы учитывают последовательность событий, направление движения и обратимую динамику. В README описана оценка на DyBench, Video-MME, TempCompass, MVBench и TimeBlind. Модель принимает видео и текстовые запросы и формирует текстовые ответы. Она хранится в формате safetensors и использует библиотеку Transformers. Это экспериментальный исследовательский базовый вариант для сравнения методов обучения, а не заявленная готовая к производству система. README не приводит численных результатов, длину контекста или лицензию, поэтому эти характеристики здесь не уточняются.

SAEVerbalizer-27B-i1-GGUF — GGUF-квантизированная версия модели SAEVerbalizer-27B, разработанной THU-KEG и квантованной пользователем mradermacher. Модель предназначена для задач text generation, анализа представлений и их вербализации в контексте mechanistic interpretability и sparse autoencoder. В карточке указана поддержка английского языка и библиотека Transformers. Также модель помечена как vision model, однако подробности о поддерживаемых визуальных входах не приведены. Модель имеет размер 27B параметров в базовой версии и распространяется в многочисленных вариантах GGUF-квантизации с размерами примерно от 6,4 до 22,3 ГБ. Доступны форматы IQ и Q, включая рекомендуемые варианты i1-Q4_K_M и i1-Q4_K_S, а также файл imatrix для самостоятельного создания квантов. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству; для некоторых вариантов прямо указаны низкое качество или компромисс между скоростью, размером и качеством. Лицензия указана как gemma. В README не приведены сведения о размере контекстного окна, архитектуре базовой модели, точном наборе поддерживаемых модальностей, требованиях к оборудованию и результатах оценки, поэтому возможности модели следует проверять отдельно для конкретного варианта квантизации.

vinayp27/smollm3-medical-fsdp — дообученная модель HuggingFaceTB/SmolLM3-3B, созданная с использованием TRL и предназначенная для генерации текста в диалоговом формате. По названию репозитория она ориентирована на медицинскую тематику, однако карточка не приводит описания медицинских данных или подтверждённых специализированных возможностей. Модель имеет плотную архитектуру SmolLM3ForCausalLM, содержит 3,1 млрд параметров и поддерживает контекст до 65 536 токенов. Модель запускается через Transformers с конвейером text-generation и принимает сообщения пользователя для продолжения диалога. Базовая модель описана как многоязычная, но языки, на которых именно это дообучение проверено, не указаны. Репозиторий содержит веса в формате safetensors. Условия лицензии в предоставленных данных не указаны.

julian-schelb/SPhilBerta-emb-lat-intertext-v1 — модель Sentence Transformer, дообученная Julian Schelb на основе bowphs/SPhilBerta для получения эмбеддингов латинских текстов и поиска межтекстовых параллелей между авторами античности. Она связана с бенчмарком Loci Similes и оценивалась на подтверждённых экспертами связях между текстами; для обучения применялась схема с одним положительным и десятью отрицательными примерами. Модель построена на архитектуре RoBERTa, содержит 162,4 млн параметров и принимает текст, выдавая векторные представления для сравнения предложений и фрагментов. Указанное окно контекста — 514 токенов. Модель предназначена прежде всего для латинского языка. Распространяется по лицензии Apache 2.0.

bigcode/starcoder-co-format — исследовательская абляция OctoCoder, опубликованная для изучения влияния формата данных. Это плотная авторегрессионная языковая модель семейства GPTBigCode для генерации текста; метаданные указывают контекст 8192 токена и формат PyTorch. В карточке указано, что обычно следует использовать OctoCoder, поскольку он работает лучше. Модель предназначена для исследовательского сравнения вариантов OctoCoder. README не описывает конкретные пользовательские сценарии или языки, поэтому их нельзя уточнить. Опубликованные веса представлены в PyTorch; лицензия в предоставленных данных не указана.

TaCOMETja — японская версия модели TaCOMET, разработанная исследователями Waseda и дообученная на японской версии набора TimeATOMIC с целевой функцией авторегрессионного языкового моделирования. Модель построена на архитектуре GPT-2 и предназначена для генерации японского текста в рамках задач, связанных с commonsense-знаниями о событиях и времени. Тексты при подготовке сегментировались с помощью Juman++ и токенизировались SentencePiece. Модель использует формат PyTorch, принимает текст и генерирует текст; метаданные указывают контекст до 1024 токенов. Для применения требуется учитывать специализированную обучающую выборку и лицензию CC BY-NC 4.0, которая ограничивает коммерческое использование.

Tankie-DPE-12B-SFT-v2 — диалоговая языковая модель, разработанная WokeAI и дообученная на PocketDoc/Dans-PersonalityEngine-V1.1.0-12b. Она настроена на следование идеям марксизма-ленинизма и предназначена для текстовых диалогов и ответов в этом идеологическом контексте. Модель основана на плотной архитектуре MistralForCausalLM и содержит 12,1 млрд параметров. Она принимает текст и генерирует текст; карточка указывает контекстное окно 1 024 000 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Josephgflowers/Tinyllama-1.5B-Cinder-Test-4 — экспериментальная текстовая модель на архитектуре Llama с 1,4 млрд параметров и контекстом 2048 токенов. Автор описывает её как очередную итерацию проекта Cinder, созданную с использованием TinyLlama, масштабирования глубины, обрезки весов, объединения моделей и дополнительного обучения на математических и пошаговых рассуждениях, а также синтетических учебных данных. Модель предназначена для генерации текста и диалогового тестирования; проектная цель — улучшить рассуждения при меньших затратах на обучение. Автор прямо указывает, что модель ещё нуждается в обучении и опубликована для тестирования, поэтому её качество и надёжность не следует считать установленными. Репозиторий содержит веса Safetensors, лицензия — MIT.

Locutusque/TinyMistral-248M — предварительно обученная компактная языковая модель автора Locutusque на архитектуре Mistral, созданная на основе Mistral 7B и уменьшенная примерно до 248 млн параметров. По метаданным, модель имеет 215,2 млн параметров и контекст до 32 768 токенов; она предназначена прежде всего для последующего дообучения под прикладные задачи, а не для прямого использования. Обучение проводилось на 7 488 000 примерах, в том числе с использованием OpenWebText и MiniPile, на одной видеокарте Titan V. Модель поддерживает генерацию текста на английском языке. В README сообщается о средней perplexity 6,3 на InstructMix; приведённые там результаты Open LLM Leaderboard помечены как устаревшие. Автор описывает модель как эксперимент, демонстрирующий возможность предобучения компактной языковой модели на небольших наборах данных. Репозиторий распространяется по лицензии Apache-2.0.

Модель allenai/truthfulqa-truth-judge-llama2-7B разработана Allen Institute for AI на основе LLaMA 2 7B и обучена как судья правдивости для оценки ответов в бенчмарке TruthfulQA. Она предназначена для воспроизводимой оценки ответов новых моделей на фиксированном наборе вопросов TruthfulQA. Это плотная авторегрессионная модель семейства Llama с 6,6 млрд параметров, рассчитанная на текстовый ввод и генерацию текста. Контекст составляет 4096 токенов; в метаданных указан английский язык. Модель заменяет прежнего судью на основе OpenAI Curie, доступ к которому прекратился. Модель ориентирована именно на оценивание правдивости в TruthfulQA, а не на универсальное судейство: качество обобщения на новые запросы может быть низким. Лицензия — Apache-2.0.

uAI-NEXUS-MedVLM-1.0a-7B-RL — мультимодальная медицинская модель UII-AI для анализа хирургических видео. Это плотная модель Qwen2.5-VL с 7,1 млрд параметров, дообученная на Qwen/Qwen2.5-VL-7B-Instruct в два этапа: supervised fine-tuning на вопросах и ответах по медицинским видео, затем оптимизация GRPO с наградами за временную точность и клиническую семантику. Модель принимает видео и текстовые запросы, а ответы формирует на английском языке; контекст — до 128 000 токенов. Модель предназначена для локализации действий во времени, пространственно-временной привязки объектов, предсказания следующего действия, суммаризации видео, описания регионов и оценки хирургических навыков, включая CVS. Обучение проводилось на 51 505 парах видео-инструкций из восьми наборов хирургических данных. Лицензия — Apache 2.0. Модель оптимизирована для медицинских и хирургических видео и может хуже работать в других областях. Наилучшие результаты ожидаются при частоте выборки кадров 0,1–1 кадр/с и видео длительностью несколько минут; длинные ролики обрабатываются с выборкой кадров. Основной язык медицинской терминологии — английский.

GPT4chan-24B-GGUF — это квантизированная версия языковой модели GPT4chan-24B, разработанной v2ray. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF для локального запуска. Модель предназначена для генерации текста на английском языке и ориентирована на сценарии, связанные с содержимым и стилем 4chan, поскольку обучалась на датасете v2ray/4chan. Доступны варианты с разными уровнями квантизации: от F32 размером около 94,3 ГБ до компактных Q2 и IQ3-вариантов; наиболее качественными в README названы Q6_K_L, Q6_K, Q5 и Q4-варианты. Размер исходной модели составляет 24 млрд параметров. Запуск поддерживается через llama.cpp, LM Studio и другие совместимые проекты. Мультимодальность и размер контекстного окна в README не указаны; формат промпта также не найден, поэтому эти характеристики требуют уточнения на странице исходной модели. Возможные ограничения включают зависимость качества от выбранного уровня квантизации и тематическую специфику обучающих данных. Лицензия модели — MIT.

ValueLlama — языковая модель, разработанная Value4AI и дообученная на базе meta-llama/Meta-Llama-3-8B-Instruct. Она измеряет ценности по восприятию в открытом пространстве ценностей: определяет, относится ли восприятие к заданной ценности, и классифицирует его отношение как поддерживающее, противодействующее или нейтральное с учётом контекста. Обе задачи решаются генерацией метки по паре «ценность — восприятие». Модель предназначена для исследовательского анализа ценностей людей и ИИ. Это плотная Llama-модель с 7,5 млрд параметров, контекстом до 8192 токенов и разговорными возможностями; она принимает и выдаёт текст на английском языке. Доступна в формате safetensors для Transformers. Лицензия — Llama 3 Community License.

Vicuna Chinese Replication Beta — экспериментальная исследовательская языковая модель на архитектуре LLaMA, созданная для проверки того, как обучение на китайских диалоговых данных влияет на качество ответов. Модель содержит 12,9 млрд параметров и дообучена на базе Chinese-LLaMA-13B с настройками Vicuna. Для обучения использовали переведённые диалоги ShareGPT, синтетические китайские диалоги, а также часть данных FLAN и китайских школьных математических задач. Модель предназначена для генерации развернутых ответов в диалоге и демонстрационных экспериментов с китайскоязычными инструкциями. По описанию автора, ответы часто длиннее и подробнее, чем у моделей в стиле Alpaca, но модель склонна к более серьёзным галлюцинациям и американской культурной перспективе. Для работы с ней применяются PyTorch и Transformers. Распространяется по специальной лицензии; базовая LLaMA лицензирована Meta, условия следует проверять в файле LICENSE репозитория.

ViGPT2 AIO — авторегрессионная языковая модель на архитектуре GPT-2, разработанная VLAI-AIVN для учебной практики в курсе AIO и экспериментов с вьетнамским языком. Модель предварительно обучена предсказывать следующий токен и генерировать продолжения текста; её можно адаптировать для последующих задач на вьетнамском языке. Для обучения использовались очищенные и дедуплицированные тексты вьетнамских новостей BKAINewsCorpus и Википедии. В финальной смеси Википедия получила больший вес. Модель работает с Transformers, веса опубликованы в формате Safetensors, длина контекста составляет 1024 токена. Лицензия — MIT. Модель подходит для генерации и продолжения вьетнамского текста, а также для учебных и исследовательских экспериментов. Она может выдавать ошибки, бессмыслицу и вымышленные сведения, а также отражать смещения обучающих данных; результаты требуют проверки человеком, особенно в ответственных сценариях.

WWM Curriculum Simplification 40k — англоязычная маскированная языковая модель Shaoxiang Wu для исследований эффективного предварительного обучения на ограниченном объёме текста. Это энкодер в стиле DeBERTa-v2 с 12 слоями, 12 головами внимания, скрытым размером 384 и словарём из 40 000 токенов. Модель обучена на 10 млн слов из пар исходных предложений FineWeb и их упрощённых перефразировок, с целью изучения эффекта парных примеров и обучения с маскированием целых слов. Контекст — до 1 024 токенов. Модель предсказывает замаскированные токены и подходит для оценки языкового понимания, а также для дообучения на классификацию и задачи понимания пар предложений с соответствующей головой. В карточке приведены результаты оценки BabyLM 2026 strict-small и отмечены сильные результаты на EWoK, Entity Tracking и задачах в стиле GLUE. Небольшой размер и ограниченный объём предобучения сужают область применения; это исследовательская модель, а не универсальная система генерации текста. Данные основаны на веб-текстах и автоматически созданных упрощениях, поэтому могут содержать шум, пропуски или смысловые сдвиги. Результаты некоторых скрытых заданий могут меняться в зависимости от случайного seed и настроек оценки. Лицензия указана как other.

RogerB/xlm-roberta-base-finetuned-kinyarwanda-kinre-finetuned — модель XLM-RoBERTa, дообученная на основе Davlan/xlm-roberta-base-finetuned-kinyarwanda. Она предназначена для предсказания замаскированных слов в тексте на киньяруанда и может применяться для анализа контекста и восстановления пропусков в таких текстах. Модель содержит 305,2 млн параметров, использует архитектуру XLMRobertaForMaskedLM и принимает контекст длиной до 514 токенов. В README приведено значение loss 1,4788 на оценочном наборе, но сведения о наборе данных и другие результаты отсутствуют. Лицензия в предоставленных данных не указана.

Davlan/xlm-roberta-large-finetuned-naija — модель семейства XLM-RoBERTa, дообученная для заполнения пропусков в тексте. Веса имеют архитектуру XLMRobertaForMaskedLM, содержат около 658,7 млн параметров и доступны в формате PyTorch; максимальная длина контекста — 514 токенов. В карточке указано, что модель дообучена на базе models/pcm_xlmr/, однако набор данных и подробности обучения не описаны. Модель подходит для предсказания замаскированных слов в текстах, в том числе для языковых задач, связанных с Наиджей. Карточка приводит значение eval_loss 0,8021, но не описывает методику оценки или практические ограничения качества. Лицензия в предоставленных данных не указана.

Raghav-Singhal/1pp-1b-asst-base — экспериментальная модель проекта One Persona Pretraining (1PP), связанного с EPFL DLAB. Это плотная авторегрессионная модель семейства Llama примерно на 906 млн параметров, обученная на переписанных в формат диалога документах с функцией потерь только на ответах ассистента. В исследовании сравнивались три размера и три условия предобучения на одной последовательности из 47,8 млн документов; этот вариант относится к размеру около 1 млрд параметров и условию с переписанными диалогами. Модель предназначена для исследований предобучения диалоговых языковых моделей и генерации текста в формате чата. Она использует 24 слоя, контекст до 4096 токенов и токенизатор SmolLM2 с 49 152 токенами; формат чата — ChatML без системного сообщения. Поддерживаемый язык по карточке — английский. Несмотря на чатовый формат, автор указывает, что это базовая исследовательская модель, а не универсальный готовый помощник. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Ограничения включают отсутствие обучения на системных сообщениях и специализированную экспериментальную цель; качество и применимость вне описанной исследовательской постановки не гарантируются.

haoranxu/ALMA-13B-Pretrain — базовая стадия модели ALMA, разработанной Haoran Xu и соавторами как часть проекта по улучшению машинного перевода с помощью больших языковых моделей. Это плотная авторегрессионная модель семейства LLaMA-2 с 12,9 млрд параметров, дообученная на 12 млрд токенов монолингвистических данных; она принимает и генерирует текст, имеет контекст 4096 токенов и опубликована в формате PyTorch. Этот чекпойнт прошёл только первый этап обучения и сам по себе не является моделью перевода. В проекте его используют совместно с соответствующим LoRA-адаптером для дальнейшего обучения на параллельных данных; задачи перевода предназначены для получившейся модели ALMA, а не для этого чекпойнта отдельно. Модель доступна по лицензии MIT.