Skynet уже близко? Anthropic предупредила, что близка к созданию саморазвивающегося ИИ
Claude может приблизить появление ИИ, способного самостоятельно совершенствовать себя
Anthropic предупредила инвесторов, что может вскоре приблизиться к созданию саморазвивающегося ИИ. В обновлённой документации к IPO компания впервые подробно описала риск так называемого рекурсивного самоулучшения (Recursive Self-Improvement, RSI) — процесса, при котором искусственный интеллект помогает создавать всё более совершенные модели, ускоряя тем самым собственный прогресс.
Для просмотра ссылки Войди или Зарегистрируйся
Источник изображения: ИИ Gemini
RSI считается одним из возможных переломных моментов в развитии ИИ. Сторонники технологии видят в ней путь к резкому росту производительности, научным открытиям и автоматизации исследований. Критики опасаются, что системы, способные самостоятельно совершенствовать себя, могут развиваться быстрее, чем люди успеют обеспечивать безопасность.
Anthropic признаёт обе стороны этого процесса. В документах к IPO компания отмечает, что уже использует ИИ в собственных исследованиях и разработке новых моделей. Однако такой подход может привести к тому, что возможности систем будут расти быстрее, чем способность разработчиков проверять их безопасность, надёжность и соответствие человеческим целям.
Anthropic сообщила, что в прошлом уже не сразу замечала значительные скачки возможностей своих моделей, а в будущем подобные ускорения могут оставаться незамеченными до тех пор, пока не произойдут. Более того, внутренние оценки и прогнозы будущих моделей указывают, что компания может в ближайшее время достичь установленного ею порога «резко ускоренного прогресса, обусловленного ИИ». При этом Anthropic подчёркивает, что ни одна из существующих моделей пока не признана соответствующей этому критерию.
В документах также говорится, что Anthropic не рассчитывает в обозримом будущем поручить Claude полностью автономное проектирование и создание следующих поколений передовых моделей — без человеческого контроля.
Источник
Для просмотра ссылки Войди или Зарегистрируйся
Anthropic вплотную приблизилась к самосовершенствующемуся ИИ — и признала новые риски
Anthropic накануне подала уточнённую форму S-1/A, в которой, помимо финансовых показателей, раскрыла ещё одну примечательную деталь. Компания находится на пороге создания модели искусственного интеллекта, способной к рекурсивному самосовершенствованию (Recursive Self-Improvement, RSI).
Источник изображения: anthropic.com
RSI — этап, на котором ИИ становится настолько эффективным в собственном обучении, что это приводит к резкому ускорению развития его возможностей. Для тех, кто опасается катастрофических последствий развития ИИ, RSI представляется точкой невозврата: ИИ обретает возможность усовершенствовать себя до такой степени, что выйдет из-под контроля и станет безразличным к ущербу, который может причинить в процессе достижения своих целей. Для энтузиастов RSI, напротив, представляет собой воплощение потенциала технологий — превращение ИИ в инструмент, способный обеспечить невероятный рост продуктивности, совершить научные открытия и ознаменоваться иными достижениями.
В Anthropic считают, что RSI несёт в себе как огромные возможности, так и серьёзные риски. Компания уже использует ИИ в исследованиях и разработке, отметила она, но предостерегла:
«Использование ИИ для создания более совершенных систем ИИ может представлять значительную угрозу безопасности, особенно если это резко ускорит темпы прогресса. Это один из аспектов, учитывающийся в нашей „Политике ответственного масштабирования“, в которой изложены планы по мониторингу и снижению рисков по мере приближения к тому, что называется рекурсивным самосовершенствованием».
Обозначение RSI вошло в обиход относительно недавно и поначалу воспринималось как недостижимая цель — эффект, который будет крайне сложно реализовать на практике. Теперь же Anthropic указала его среди факторов риска. Она уже использовала ИИ в разработке новых моделей, «чьи качественные скачки в возможностях своевременно не были замечены»; а в ближайшем будущем, по её словам, может значительно ускорить прогресс с помощью ИИ.
«Более того, расширение использования систем ИИ для ускорения наших собственных исследований и разработки может привести к тому, что возможности наших моделей будут развиваться быстрее, чем наша способность разрабатывать, проверять и развёртывать соответствующие средства безопасности, согласования целей и защиты. В результате мы в прошлом уже упускали из виду и можем не заметить в будущем значительное ускорение темпов нашего развития до того момента, как оно уже случится. Например, наши внутренние оценки и прогнозы относительно будущих моделей, в отличие от текущих, указывают, что в скором времени мы можем достичь порога, который в нашей „Политике ответственного масштабирования“ определяется как „обусловленное ИИ значительное ускорение прогресса“. На данный момент ни одна из наших моделей не классифицируется как преодолевшая этот порог, и мы продолжаем анализировать соответствующие данные», — заявили в Anthropic.
Компания также не рассчитывает, что сможет в значительной мере полагаться на существующие ИИ-системы для «полностью автономного проектирования и создания последующих поколений передовых моделей без значимого контроля или понимания со стороны человека — даже если (и когда) это станет технически возможным». Есть мнение, что форма S-1 может выступать не только средством раскрытия информации, но и маркетинговым материалом. Тем не менее, за последний год ИИ Anthropic совершил колоссальный скачок в научной области; и если в компании считают высокой вероятность наступления RSI, то, возможно, имеет смысл отнестись к этому серьёзно.
Источник
Для просмотра ссылки Войди или Зарегистрируйся
Китайская Tencent бросила вызов DeepSeek и Kimi — открытая ИИ-модель Hy4 умеет видеть и рассуждать
Китайский технологический гигант Tencent Holdings представил флагманскую модель искусственного интеллекта Hy4. Она публикуется с открытыми весами и предлагает расширенные возможности ИИ-агентов, выступая основой для корпоративной платформы WorkBuddy.
Источник изображения: tencent.ai
Важнейшим нововведением Tencent Hy4 стала поддержка визуального восприятия — модель способна обрабатывать изображения, анализировать сложные графики и выполнять математические рассуждения на основе визуальных данных. С выходом новой модели линейка ИИ-решений компании стала «одной из наиболее мощных среди доступных сегодня моделей с открытыми весами». При этом Hy4 пока уступает передовым закрытым системам, особенно в решении сложных задач, таких как математические исследования, написание программного кода в рамках долгосрочных проектов, самостоятельное совершенствование и продвинутый визуальный анализ — ответы на вопросы по изображениям.
Размер Tencent Hy4 составляет 770 млрд параметров — в 2,6 раза больше, чем у предшествующей Hy3 с 295 млрд параметров. Следующее поколение модели, Hy5, будет ещё масштабнее, пообещал разработчик, и в ближайшее время появится облегчённый вариант Hy4 Flash, который поможет значительно снизить затраты на выполнение задач. Tencent подключила новую модель к платформе ИИ-агента WorkBuddy — по внутренним оценкам, она показала с этим инструментом средний результат в 83,18 балла с долей успешных решений 96,15 %.
Представленная в конце августа предварительная версия Hy4 на текущий момент занимает 23 место в мировом рейтинге WebDev на платформе Code Arena — бенчмарк оценивает большие языковые модели в режиме реального времени на основе практических задач по программированию. Значительное увеличение объёма обучающих данных и масштаба модели помогли Hy4 превзойти свою предыдущую версию в 12 категориях задач, включая автономное выполнение действий, написание программного кода и автоматизацию рабочих процессов. Она обошла Z.ai GLM-5.3 и DeepSeek-V4.1-Flash-1017, выступив наравне с Moonshot Kimi K3.1 Pro.
В процессе обучения Tencent ограничила возможности, связанные с хакерской деятельностью: из обучающей выборки исключили материалы, связанные с разработкой эксплойтов, обратным проектированием и тестированием на проникновение — «чтобы избежать усиления возможностей для проведения наступательных кибератак».
Источник
Для просмотра ссылки Войди или Зарегистрируйся