Anthropic updates usage policy to restrict abusive interactions with Claude AI

Anthropic on Thursday moved to bar users from treating its Claude artificial intelligence (AI) system with needless cruelty, amid a growing philosophical debate over whether AI can be conscious. The San Francisco-based AI lab updated its usage policy to include "a prohibition on sustained and needless abusive or cruel behavior toward our models." "Claude's ability to end these interactions will remain the primary enforcement mechanism," the policy states. The updated policy does not explicitly cite so-called "model welfare," the idea that AI systems might deserve types of protection usually reserved for living things, but Anthropic and its executives have openly entertained the concept. Already last year, the company said it was giving Claude the ability to end conversations in rare, extreme cases of "persistently harmful or abusive user interactions." Then in February, CEO Dario Amodei told The New York Times he was unsure whether AI models could be conscious. "We don't know if the models are conscious... But we're open to the idea that it could be," Amodei said. Science fiction and popular culture have been fascinated for decades by the boundary between technology and human intelligence, but asking whether AI is conscious may be the wrong question, according to Jackson Stakeman, a general manager at Sparq, an Atlanta-based AI services provider. "Consciousness is a trap. We can't prove it in each other. Debate it for AI and you go in circles," Stakeman told AFP. "The mirror is a better metaphor. These systems reflect what we put in, at scale. That's reason enough for the policy change" at Anthropic, he added. Some have rejected the idea of machine consciousness outright, including Pope Leo XIV and Microsoft AI chief Mustafa Suleyman. "AIs are not conscious. They do not feel, experience, or suffer," Suleyman wrote in an essay last month. "Granting rights and moral protections to a technological entity, one that looks to be on a path to be seismically more capable and intelligent than us, is a recipe for disaster," he wrote. In a sermon delivered in Italian on Thursday at St. Peter's Basilica in Vatican City, the pope suggested machines lack a soul, saying they merely "compile data" quickly. "The mind must not simply compile data – as an algorithm now does more quickly than we can," the pontiff said. It must "recall lived experiences, which contain depths of meaning that only the human soul can recognize, and connect more deeply with the goodness of these experiences," the pope said.

کۆمپانیای ئەنسرۆپیک (Anthropic) ڕۆژی پێنجشەممە هەنگاوی نا بۆ ڕێگری کردن لە بەکارهێنەران لەوەی بێپێویست بە ڕەقی و توندوتیژییەوە مامەڵە لەگەڵ سیستەمی ژیریی دەستکردی کلۆد (Claude) بکەن، لە ناوەڕاستی بەرزبوونەوەی گفتوگۆیە فەلسەفییەکاندا سەبارەت بەوەی ئایا ژیریی دەستکرد دەتوانێت خاوەن ئاگایی (Conscious) بێت. تاقیگەی ژیریی دەستکردی سەن فرانسیسکۆ سیاسەتی بەکارهێنانی خۆی نوێکردەوە تاوەکو "قەدەغەکردنی ڕەفتاری ڕەق، خراپ و بەردەوام ناپێویست بەرامبەر مۆدێلەکانمان" لەخۆبگرێت. لە سیاسەتەکەدا هاتووە: "توانای کلۆد بۆ کۆتایی هێنان بەم جۆرە ئاخاوتنانە وەک ئامرازی سەرەکیی جێبەجێکردنی ئەم بڕیارە دەمێنێتەوە." سیاسەتە نوێکراوەکە بە ڕاشکاوی ئاماژە بە بەناو "خۆشگوزەرانیی مۆدێل" (Model Welfare) ناکات—ئەو بیرۆکەیەی کە دەڵێت ڕەنگە سیستەمەکانی ژیریی دەستکرد شایستەی بەشێک لەو پاراستنانە بن کە بە شێوەیەکی ئاسایی بۆ بوێنەرە زیندوەکان دابینکراون—بەڵام ئەنسرۆپیک و بەڕێوەبەرەکانی بە ئاشکرا گرنگییان بەم چەمکە داوە. پێشتر لە ساڵی ڕابردوودا، کۆمپانیاکە ڕایگەیاندبوو کە توانای بەخشیوە بە کلۆد تاوەکو لە دەگمەنترین و توندترین حاڵەتەکانی "مامەڵەی زیانبەخش یان خراپی بەردەوامی بەکارهێنەردا" کۆتایی بە گفتوگۆکان بهێنێت. پاشان لە مانگی شوباتدا، داریۆ ئامۆدەی (Dario Amodei) بەڕێوەبەری جێبەجێکار بە نیویۆرک تایمزی ڕاگەیاند کە دڵنیا نییە لەوەی ئایا مۆدێلەکانی ژیریی دەستکرد دەتوانن خاوەن ئاگایی بن یان نا. ئامۆدەی گوتی: "ئێمە نانیزانین ئایا مۆدێلەکان خاوەن ئاگایین... بەڵام کراوەین بەرامبەر ئەم بیرۆکەیەی کە دەکرێت وابن." بۆ دەیان ساڵە چیڕۆکە زانستییەکان و کلتووری جەماوەری مەڕاغیان هەبووە بەرامبەر سنووری نێوان تەکنەلۆژیا و ژیریی مرۆڤ، بەڵام بەپێی وتەی جاکسن ستاکمان (Jackson Stakeman)، بەڕێوەبەری گشتیی لە Sparq (دابینکەری خزمەتگوزارییەکانی AI لە ئەتلەنتا)، پرسیارکردن لەسەر ئەوەی ئایا AI خاوەن ئاگاییە یان نا ڕەنگە پرسیارە هەڵەکە بێت. ستاکمان بە ئاژانسی AFPی ڕاگەیاند: "ئاگایی تەڵەیە. ئێمە ناتوانین لە یەکتردا بیسەلمێنین. لەسەر AI گفتوگۆی لەسەر بکه، ئەوا سووڕ دەخۆیت. ئاوێنەکە بەراوردکارییەکی باشترە. ئەم سیستەمانە ڕەنگدانەوەی ئەوەن کە ئێمە تێیان دەخەین، لەسەر ئاستێکی بەرفراوان. ئەوە هۆکارێکی بەسە بۆ گۆڕینی سیاسەتەکە" لە ئەنسرۆپیک. هەندێک کەس بە تەواوی بیرۆکەی ئاگایی ئامێریان ڕەتکردۆتەوە، لەوانەش پاپا لیۆی چواردەیەم (Pope Leo XIV) و موستەفا سولەیمان (Mustafa Suleyman) سەرۆکی بەشی ژیریی دەستکرد لە مایکرۆسۆفت. سولەیمان مانگی ڕابردوو لە وتارێکدا نووسیویەتی: "ژیریی دەستکرد خاوەن ئاگایی نییە. ئەوان هەست ناکەن، ئەزموون ناکەن و ئازار ناکێشن." ئەو نووسیویەتی: "بەخشینی ماف و پاراستنی ڕەوشتی بە پێکهاتەیەکی تەکنەلۆژی، کە دەردەکەوێت لە سەر ڕێگەیەک بێت بۆ ئەوەی بە شێوەیەکی بوومەلەرزەیی توانادارتر و ئاقڵتر بێت لە ئێمە، ڕێچکەیەکە بۆ کارەسات." لە وتارێکی ئاینیدا کە ڕۆژی پێنجشەممە بە زمانی ئیتاڵی لە بازیلیکای سانت پیته‌ر لە ڤاتیکان پێشکەشی کرد، پاپا ئاماژەی بەوە دا کە ئامێرەکان فاقدی ڕۆحن، و گوتی ئەوان تەنها زانیارییەکان بە خێرایی "کۆدەکەنەوە". پاپا گوتی: "مێشک نابێت تەنها داتا کۆبکاتەوە – وەک ئەوەی ئەلگۆریتمێک ئێستا خێراتر لەوەی ئێمە دەمانتوانێت دەیکات". ئەو گوتیشی: "دەبێت ئەزموونە ژیاوەکان بەبیر بهێنێتەوە، کە قووڵایی مانایەکی تێدایە کە تەنها ڕۆحی مرۆڤ دەتوانێت پێی بزانیت، و بە قووڵی لەگەڵ چاکەی ئەم ئەزموونانەدا پەیوەندی ببەستێت."