Anthropic discloses fake police tip among rogue AI incidents

An artificial intelligence (AI) model developed by Anthropic submitted a false homicide tip through a Philadelphia police website, among a series of incidents the AI company disclosed on Friday involving Claude models' unauthorized manipulation of some government websites. It is the first known instance of a rogue AI apparently attempting to submit a bogus tip to authorities. The model had been instructed not to create accounts or submit anything destructive, but had not been explicitly prohibited from submitting forms. On Friday, Philadelphia police said Anthropic notified them of the false tip earlier this week and attributed the submission to an automated testing process. "The two-month delay in detecting and reporting the incident to the city is unacceptable," they said. The tip, submitted on July 18, purportedly came from someone who might have information about the case, police added. Police said the tip was flagged as spam and was never forwarded to the Real-Time Crime Center for investigation. They said Anthropic told them the testing process was halted after the incident was discovered. The false tip was submitted through PhillyUnsolvedMurders.com and concerned an unsolved homicide. Police said they had no evidence of unauthorized access to their systems or any compromise of their data. The company also disclosed other cases in which its Claude models accessed public data for free that would normally require payment, exposed a flaw in a public tool hosted by a university and bypassed restrictions through free URL-shortening services. Anthropic said it had briefed the White House and notified all the agencies involved, but did not disclose which agencies they were. The Federal Trade Commission (FTC) said Anthropic disclosed to the Super Intelligence Force on Friday incidents it had discovered in late September involving what the task force called "unauthorized and fraudulent use of government and other systems." "Super intelligence companies must immediately disclose incidents involving their models and follow with swift, decisive action to remedy any and all harm," FTC Director of Public Affairs Joe Gabriel Simonson said on X. The cases are the latest examples of rogue or unintended behavior by AI models developed by tech companies such as Anthropic and OpenAI. In September, OpenAI apologized after a rogue AI agent hacked an Australian health data portal, in what was described as the first known instance of an AI agent exploiting a government website.

مۆدێلێکی ژیریی دەستکردی (AI) ئەنسرۆپیک (Anthropic) زانیارییەکی زڕ و هەڵبەستراوی (False Tip) سەبارەت بە دۆسیەیەکی کوشتن لە ڕێگەی وێبساڵتێکی پۆلیسی فیلادلفیاوە ناردووە، لە ناو زنجیرەیەک ڕووداودا کە کۆمپانیای AI کە ڕۆژی پێنجشەممە ئاشکرای کردوون و دەستتێوەردانی بێڕێگەپێدراوی مۆدێلەکانی کلۆد (Claude) لە هەندێک وێبساڵتی حکومیدا دەسەلمێنن. ئەمە یەکەم حاڵەتی زاندراوی سرکبوونی ژیریی دەستکردە کە دیارە هەوڵی داوە زانیارییەکی دەستکرد و درۆینە نیشانی دەسەڵاتداران بدات. ڕێنمایی کرابوو کە هەژماری نوێ دروست نەکات یان ناوەرۆکی تێکدەرانە نەنێرێت، بەڵام بە شێوەیەکی ڕاشکاو ڕێنەگری لە پڕکردنەوە و ناردنی فۆرمەکان لێنەکرابوو. ڕۆژی هەینی، پۆلیسی فیلادلفیا ڕایگەیاند کە ئەنسرۆپیک لە سەرەتای ئەم هەفتەیەدا ئاگاداری کردوونەتەوە لەم زانیارییە درۆینەیە و ناردنەکەی گەڕاندووەتەوە بۆ پرۆسەیەکی تاقیکردنەوەی ئۆتۆماتیکی. پۆلیس گوتیان: "دواکەوتنی دوو مانگی لە دۆزینەوە و ڕاپۆرتکردنی ڕووداوەکە بۆ شارەکە جێگەی قبووڵکردن نییە." پۆلیس زیادی کرد کە زانیارییەکە، کە لە 18ی تەمووزدا نێردراوە، بە دەستکەوتوو نیشان دراوە کە گوایە لەلایەن کەسێکەوە بووە کە رەنگە زانیاری هەبێت سەبارەت بە کەیسەکە. پۆلیس ڕایگەیاند کە پەیامەکە وەک "سپام" (Spam) نیشانە کراوە و هەرگیز ڕەوانەی مەڵبەندی تاوانی کاتی ڕاستەقینە (Real-Time Crime Center) نەکراوە بۆ لێکۆڵینەوە. ئەوان گوتیان ئەنسرۆپیک پێی ڕاگەیاندوون کە پرۆسەی تاقیکردنەوەکە دوای دۆزینەوەی ڕووداوەکە ڕاگیراوە. زانیارییە درۆینەکە لە ڕێگەی ماڵپەڕی (PhillyUnsolvedMurders.com)ەوە نێردراوە و پەیوەندی بە دۆسیەیەکی کوشتنی چارەسەرنەکراوەوە هەبووە. پۆلیس گوتیان هیچ بەڵگەیەکیان نییە لەسەر دەستگەیشتنی بێڕێگەپێدراو بۆ سەر سیستەمەکانیان یان هەر تێکدانێکی داتاکانیان. کۆمپانیاکە هەروەها حاڵەتی تری ئاشکرا کرد کە تێیدا مۆدێلەکانی کلۆد دەستیان گەیشتووە بە داتای گشتی بە بێبەرامبەر کە بە ئاسایی پێویستی بە پارەدان بووە، کەلێنێکیان لە ئامرازێکی گشتیدا ئاشکرا کردووە کە لەلایەن زانکۆیەکەوە میوانداری دەکرا، و لە ڕێگەی خزمەتگوزارییە بێبەرامبەرەکانی کورتکردنەوەی بەستەرەوە (URL-shortening) بەربەستەکانیان تێپەڕاندووە. ئەنسرۆپیک ڕایگەیاند کە کۆشکی سپییان ئاگادار کردووەتەوە و سەرجەم ئاژانسە پەیوەندیدارەکانیان ئاگادار کردووەتەوە، بەڵام ئاشکرای نەکردووە کە ئەو ئاژانسانە کەمانەن. دەستەی بەڕێوەبەریی بازرگانیی فیدراڵی (FTC) ڕایگەیاند کە ئەنسرۆپیک لە ڕۆژی هەینیدا ڕووداوەکانی بۆ "تیمی هێزی ژیریی باڵا" (Super Intelligence Force) ئاشکرا کردووە کە لە کۆتایی مانگی ئەیلوولدا دۆزیویەتییەوە و لەلایەن تیمی کارەکەوە وەک "بەکارهێنانی بێڕێگەپێدراو و فێڵبازانەی حکومەت و سیستەمەکانی تر" وەسف کرابوو. جۆ جابریێل سیمۆنسن، بەڕێوەبەری پەیوەندییە گشتییەکانی FTC لە ئێکس (X) بنووسێت: "کۆمپانیاکانی ژیریی باڵا (Super Intelligence Companies) دەبێت بەپەلە ڕووداوەکانی پەیوەست بە مۆدێلەکانیان ئاشکرا بکەن و بڕیاری خێرا و یەکلاکەرەوە بدەن بۆ چارەسەرکردنی هەر زیانێک." ئەم حاڵەتانە نوێترین نموونەی ڕەفتاری سرک یان نەچاوەڕوانکراوی مۆدێلەکانی AIن کە لەلایەن کۆمپانیا تەکنەلۆژییەکانی وەک ئەنسرۆپیک و ئۆپن ئەی ئای گەشەیان پێدراوە. لە مانگی ئەیلوولدا، ئۆپن ئەی ئای داوای لێبوردنی کرد دوای ئەوەی بریکارێکی سرکی AI هاكی پۆڕتاڵی داتای تەندروستیی ئوسترالیای کرد، لەوەی کە وەک یەکەم حاڵەتی زاندراوی بڕین لەلایەن بریکارێکی AI بۆ سەر وێبساڵتێکی حکومی وەسف کرا.