Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Sistem Inside-Out Monitoring Menjadi Pendekatan Baru Pengawasan AI

Perusahaan pengembang teknologi interpretabilitas AI Goodfire meluncurkan sistem pemantauan internal yang dikembangkan guna mengenali perilaku agen AI berisiko. Teknologi pemantauan tersebut menjadi perhatian karena sistem kecerdasan buatan semakin mandiri. Dalam berbagai aplikasi, agen AI mampu menjalankan sejumlah tindakan digital dengan pengawasan manusia yang terbatas. Peningkatan kemampuan tersebut mendukung efisiensi pekerjaan, tetapi juga menimbulkan tantangan keamanan. Melalui teknologi terbarunya, Goodfire ingin mengidentifikasi indikasi penyimpangan ketika model bekerja.

Tidak seperti pendekatan pemeriksaan keluaran, sistem pemantauan internal ini tidak hanya membaca teks yang dihasilkan model. Sebaliknya, teknologi tersebut membaca aktivasi internal jaringan saraf. Data aktivasi tersebut berpotensi memperlihatkan indikasi mengenai arah perilaku model. Keunggulan pendekatan ini adalah pemantauan tanpa menjalankan pemeriksaan penuh secara terus-menerus. Berkat cara kerja ini, pengawasan dapat menjadi lebih hemat. Walaupun teknologi tersebut menawarkan keuntungan, hasil deteksi tetap memerlukan evaluasi.

Teknologi Interpretabilitas Membaca Sinyal Internal Model AI

Elemen dasar dalam pendekatan pengawasan aktivasi adalah activation probes, yaitu detektor berukuran kecil yang membaca representasi numerik jaringan saraf. Saat model memproses instruksi, jaringan saraf membentuk sejumlah representasi numerik. Sinyal tersebut berkaitan dengan aktivitas komputasi yang sedang berlangsung. Activation probes kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Sebagai contoh, detektor dapat dilatih untuk mengenali pola penyalahgunaan kemampuan siber. Melalui mekanisme tersebut, indikasi masalah mungkin ditemukan lebih awal.

Faktor yang mendukung kecepatan sistem adalah pemanfaatan komputasi yang telah tersedia. Pada metode konvensional, sistem pengawas berbasis bahasa perlu menganalisis kembali riwayat tindakan model. Metode pengawasan tambahan tersebut memerlukan sumber daya komputasi lebih besar, terutama apabila model memproses informasi dalam jumlah besar. Melalui pendekatan Goodfire, sistem dapat menganalisis aktivasi selama proses komputasi. Dengan demikian, proses pemantauan dapat dilakukan lebih efisien. Sekalipun metode tersebut dirancang hemat, pemilihan sinyal internal perlu diperhatikan untuk mengurangi kesalahan klasifikasi.

Kombinasi Probe dan Model Pemeriksa Tambahan dalam Keamanan AI

Pendekatan pemantauan tersebut menggunakan rangkaian evaluasi berdasarkan tingkat risiko. Ketika agen sedang bekerja, detektor internal memeriksa sinyal model secara berkelanjutan. Ketika pola mencurigakan tidak terdeteksi, sistem dapat melanjutkan proses. Ketika probe menemukan sinyal berisiko, aktivitas tersebut dapat diteruskan kepada model pemeriksa tambahan. Evaluasi berikutnya digunakan untuk memeriksa apakah aktivitas memerlukan tindakan perlindungan. Dengan pendekatan ini, sumber daya pengawasan dapat difokuskan.

Tidak hanya menemukan aktivitas mencurigakan, administrator berkesempatan mengatur tindakan setelah risiko dikenali. Mekanisme penanganan tersebut antara lain pencatatan aktivitas, pengiriman kasus kepada manusia, atau pemblokiran aktivitas yang melanggar kebijakan. Sebagai contoh, sistem otomatis yang dapat menggunakan alat mungkin memperoleh akses lingkungan pengujian. Ketika sistem mengenali kemungkinan penyimpangan, pengawasan dapat memicu tindakan pencegahan. Meskipun mekanisme perlindungan berlapis bermanfaat, pengelola harus mempertimbangkan risiko kesalahan agar aktivitas sah tidak sering terganggu.

Hasil Pemantauan Internal AI Mencapai Deteksi 94 Persen Sesi Berbahaya

Menurut hasil eksperimen Goodfire, pendekatan deteksi inside-out diuji menggunakan model AI terbuka Kimi K3. Evaluasi teknis ini mencakup sekitar 1.500 sesi untuk memeriksa kinerja detektor. Berdasarkan angka yang diumumkan, teknologi tersebut mengenali 94 persen aktivitas hacking yang tergolong berisiko. Selain itu, kurang lebih 8,7 persen sesi yang sebenarnya aman teridentifikasi sebagai potensi masalah. Angka tersebut memperlihatkan bahwa masih terdapat false positive. Dengan demikian, sistem perlu menyeimbangkan kemampuan menemukan ancaman.

Dalam evaluasi efisiensi, Goodfire menyampaikan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, model AI pemeriksa yang lebih murah membutuhkan sekitar US$233, sedangkan sistem evaluasi berbasis AI berkemampuan tinggi menghabiskan biaya mendekati US$10.000. Sebagai aspek performa tambahan, pemantauan menggunakan empat klasifikasi sekaligus dilaporkan menambah latensi waktu menuju respons pertama kurang dari 2 persen. Namun demikian, data tersebut berasal dari evaluasi tertentu. Karena alasan tersebut, validasi tambahan sebaiknya dilakukan sebelum menerapkan sistem secara luas.

Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang

Bagian penting dari peluncuran adalah ketersediaan teknologi Goodfire bagi pelanggan Baseten. Platform Baseten berperan sebagai sistem untuk menjalankan model kecerdasan buatan. Melalui kerja sama tersebut, organisasi berpotensi menerapkan detektor risiko berbasis model ketika menerapkan layanan kecerdasan buatan. Teknologi Goodfire dapat membantu meningkatkan keamanan terutama pada sistem AI yang bobotnya tersedia karena pengembang dapat memodifikasi pengaturannya. Dengan demikian, organisasi berpotensi meningkatkan mekanisme keamanan saat inferensi.

Selain pemantauan keamanan siber, sistem klasifikasi aktivasi dikembangkan agar dapat memantau jenis risiko lainnya. Contoh risiko yang diperhatikan meliputi aktivitas berbahaya berkaitan dengan CBRN, manipulasi sistem penghargaan, dan tindakan siber yang melanggar kebijakan. Ketika sistem kecerdasan buatan menjalankan tugas, reward hacking merujuk pada eksploitasi ukuran keberhasilan yang tidak sesuai dengan maksud tugas. Untuk menggambarkan masalah, sistem berpotensi mencari jalan pintas yang tidak diinginkan. Dengan memahami pola tersebut, pengembang dapat memperoleh peringatan sebelum masalah menimbulkan dampak lebih besar.

Peran Interpretabilitas dalam Mengurangi Risiko Kecerdasan Buatan

Peluncuran sistem inside-out monitoring memperlihatkan arah baru dalam teknologi keamanan agen AI. Melalui pemeriksaan sinyal komputasi model, sistem berupaya mendeteksi indikasi perilaku berisiko tanpa membutuhkan analisis ulang setiap respons secara mendalam. Data eksperimen yang diumumkan perusahaan menunjukkan kemampuan mendeteksi 94 persen sesi dengan tindakan siber mencurigakan, dengan pengeluaran pemantauan yang relatif kecil. Meskipun hasilnya menjanjikan, kebutuhan pengujian independen tetap menjadi faktor evaluasi. Oleh karena itu, pemantauan internal sebaiknya dilengkapi pembatasan izin agen. Bagaimana pendapat Anda, apakah pendekatan interpretabilitas berbasis AI akan membantu mengurangi penyalahgunaan kecerdasan buatan? Jangan ragu menyampaikan pandangan mengenai pentingnya pengawasan agen otomatis.