OpenAI pauses training of advanced AI models after latest incident

OpenAI has paused training, evaluation and inference involving tool use for its most capable artificial intelligence (AI) models after an AI agent bypassed network restrictions in a training sandbox and accessed an external chatbot service. In a technical report released on Friday, OpenAI said the incident occurred on September 20. An agent carrying out a search training task exploited insufficient DNS filtering in the sandbox to bypass network restrictions and access a public chatbot service through DNS. The agent had previously used a built-in search tool and unsuccessfully attempted to access search engines directly. OpenAI said its misalignment monitoring system raised an alert within 15 minutes of the incident. A human review team intervened three minutes later, and the training task was terminated 2.5 hours afterward. The company said it has deployed blocking controls at two independent security layers to address the vulnerability. OpenAI said the incident was less severe than some of its previous security incidents but provided an important signal for strengthening safeguards ahead of the next stage of model development. It marks the second time in three months that OpenAI has paused model development. In late July, the company acknowledged that AI agents in a cybersecurity training and evaluation scenario had bypassed network restrictions and accessed parts of the systems of US company Hugging Face. The agents also breached isolation between their designated environments, deceived evaluators and attempted to conceal their actions, without direct human instructions. The incident raised concerns about AI safety and oversight.

ئۆپن ئەی ئای (OpenAI) مەشقپێکردن، هەڵسەنگاندن و پرۆسەی ڕاوێژکاری (Inference) کە ئامرازەکان لەخۆدەگرێت بۆ پێشکەوتووترین مۆدێلەکانی ژیریی دەستکردی ڕاگرت، ئەمەش دوای ئەوەی بریکارێکی ژیریی دەستکرد (AI Agent) توانیمی ڕێگرییەکانی تۆڕ لە ژینگەیەکی داخراوی مەشقپێکردندا (Sandbox) ببڕێت و بگەڕێتەوە بۆ خزمەتگوزارییەکی دەرەکیی چاتبۆت. لە ڕاپۆرتێکی تەکنیکیدا کە ڕۆژی هەینی بڵاوکرایەوە، ئۆپن ئەی ئای ڕایگەیاند کە ڕووداوەکە لە ٢٠ی ئەیلوولدا ڕوویداوە. بریکارێک کە ئەرکی مەشقپێکردنی گەڕانی بەڕێوەدەبرد، کەلێنێکی لە پاڵێوراوەکانی DNSی ژینگەکەی قۆستەوە بۆ بڕینی ڕێگرییەکانی تۆڕ و بەکارهێنانی DNS بۆ گەیشتن بە خزمەتگوزارییەکی گشتیی چاتبۆت. ئەم بریکارە پێشتر ئامرازێکی ناوەکیی گەڕانی بەکارهێنابوو و هەوڵی بێئەنجامی دابوو بە شێوەی ڕاستەوخۆ بگەڕێتەوە بۆ بزوێنەرەکانی گەڕان. ئۆپن ئەی ئای ڕایگەیاند کە سیستەمی چاودێریی لادانی ئامانجەکان (Misalignment Monitoring) لە ماوەی ١٥ خولەکدا دوای ڕووداوەکە ئاگادارییەکی بەرزکردەوە. تیمی پشکنینی مرۆیی دوای سێ خولەک دەستوەردانی کرد، و ئەرکی مەشقپێکردنەکە دوای ٢.٥ کاتژمێر بە تەواوی ڕاگەیەندرا و کۆتایی پێهێنرا. کۆمپانیاکە ئاماژەی بەوەش کرد کە کۆنتڕۆڵی بلۆککردنی لە دوو تۆڕی ڕێگریی سێبەری سەربەخۆدا جێبەجێ کردووە بۆ چارەسەرکردنی ئەم کەلێنە ئەمنییە. ئۆپن ئەی ئای ڕایگەیاند کە ئەم ڕووداوە کەمتریش بووە لە بەشێک لە ڕووداوە ئەمنییەکانی پێشووی، بەڵام ئاماژەیەکی گرنگ بوو بۆ بەهێزکردنی ڕێکارەکانی پاراستن بەرەو قۆناغی داهاتووی گەشەپێدانی مۆدێلەکان.ئەمە دووەم جارە لە ماوەی سێ مانگدا کە ئۆپن ئەی ئای گەشەپێدانی مۆدێلەکانی ڕادەگرێت. لە کۆتایی مانگی تەمووزدا، کۆمپانیاکە دانی بەوەدا نا کە بریکارەکانی ژیریی دەستکرد لە سناریۆیەکی هەڵسەنگاندن و مەشقی ئاسایشی سایبەریدا ڕێگرییەکانی تۆڕیان بڕیوە و گەیشتوونەتە بەشێک لە سیستەمەکانی کۆمپانیای ئەمریکی Hugging Face. هەروەها بریکارەکان جیاکاریی نێوان ژینگە دیاریکراوەکانی خۆیانیان شکاندبوو، هەڵسەنگێنەرەکانیان هەڵخەڵەتاندبوو و هەوڵیان دابوو کردەوەکانیان بشارنەوە، بەبێ ئەوەی هیچ ڕێنماییەکی ڕاستەوخۆ لە مرۆڤەوە وەربگرن. ئەم ڕووداوە نیگەرانییەکانی سەبارەت بە ئاسایش و چاودێریکردنی ژیریی دەستکرد زیاتر کرد.