Goodfire Kembangkan Sistem Pemantauan Internal untuk Mendeteksi Perilaku Agen AI Berisiko

Goodfire memperkenalkan sistem pemantauan internal berbasis kecerdasan buatan pada 8 Oktober 2026 untuk membantu mendeteksi perilaku agen AI yang berpotensi membahayakan. Berbeda dari metode pengawasan konvensional yang memeriksa keluaran model, teknologi ini menganalisis sinyal aktivasi internal ketika AI sedang bekerja. Pendekatan tersebut memungkinkan indikasi aktivitas berisiko dikenali lebih awal dengan kebutuhan komputasi yang relatif rendah. Dalam pengujian menggunakan model Kimi K3, Goodfire melaporkan keberhasilan mendeteksi 94 persen sesi peretasan berbahaya. Inovasi ini menjadi perhatian karena penggunaan agen AI semakin luas, sementara pengawasan keamanan harus tetap efisien, cepat, dan mampu mengikuti kompleksitas sistem otomatis modern.

Inovasi Goodfire untuk Meningkatkan Keamanan Sistem Kecerdasan Buatan

Startup yang berfokus pada pemahaman model kecerdasan buatan Goodfire meluncurkan teknologi pengawasan aktivasi model yang dirancang untuk mendeteksi perilaku agen AI berisiko. Teknologi pemantauan tersebut menjadi perhatian karena sistem kecerdasan buatan semakin mandiri. Dalam berbagai aplikasi, agen AI berpotensi menyelesaikan tugas bertahap dengan tingkat otomatisasi yang semakin tinggi. Peningkatan kemampuan tersebut membuka peluang otomatisasi, tetapi menghadirkan risiko pengendalian. Melalui teknologi terbarunya, Goodfire mengembangkan kemampuan mendeteksi tanda perilaku berbahaya lebih awal.

Tidak seperti pendekatan pemeriksaan keluaran, teknologi Goodfire tidak hanya membaca teks yang dihasilkan model. Melalui pendekatan berbeda, teknologi tersebut membaca sinyal komputasi di dalam model. Data aktivasi tersebut berpotensi memperlihatkan indikasi mengenai aktivitas yang sedang diproses. Nilai tambah teknologi tersebut adalah kemampuan memanfaatkan komputasi yang sudah berjalan. Melalui rancangan tersebut, biaya pemantauan berpotensi berkurang. Meskipun pendekatan ini menjanjikan, akurasi pengawasan tidak dapat dianggap sempurna.

Teknologi Interpretabilitas Membaca Sinyal Internal Model AI

Elemen dasar dalam teknologi inside-out monitoring adalah activation probes, yaitu detektor berukuran kecil yang memeriksa pola komputasi selama pemrosesan. Saat model memproses instruksi, model menghasilkan sejumlah representasi numerik. Aktivasi yang terbentuk dapat mencerminkan proses pengolahan informasi. Sistem klasifikasi internal kemudian memeriksa pola tertentu untuk mengenali kemungkinan penyimpangan. Dalam penerapan keamanan, detektor dapat dilatih untuk mengenali pola penyalahgunaan kemampuan siber. Melalui mekanisme tersebut, risiko dapat dikenali sebelum keluaran akhir terbentuk.

Salah satu alasan efisiensinya adalah pemanfaatan komputasi yang telah tersedia. Dalam pengawasan berbasis model tambahan, pemeriksa kecerdasan buatan terpisah sering harus membaca ulang riwayat tindakan model. Pendekatan pemeriksaan ulang ini berpotensi menambah waktu pemrosesan, terutama apabila sistem menjalankan banyak langkah. Melalui pendekatan Goodfire, detektor cukup memanfaatkan aktivasi selama proses komputasi. Dengan demikian, proses pemantauan dapat dilakukan lebih efisien. Walaupun demikian, penyesuaian detektor tetap diperlukan untuk menjaga relevansi hasil.

Mekanisme Eskalasi Goodfire untuk Menangani Risiko Agen AI

Pendekatan pemantauan tersebut menggunakan rangkaian evaluasi berdasarkan tingkat risiko. Pada tahap awal, detektor internal memeriksa aktivasi pada berbagai langkah. Ketika pola mencurigakan tidak terdeteksi, agen berpotensi tetap menjalankan tugas. Ketika probe menemukan sinyal berisiko, aktivitas tersebut dapat diteruskan kepada model pemeriksa tambahan. Tahap analisis tambahan membantu menilai apakah aktivitas memerlukan tindakan perlindungan. Melalui sistem bertahap tersebut, proses analisis mendalam tidak harus berjalan terus-menerus.

Di samping mengidentifikasi risiko, penyedia layanan memiliki pilihan menetapkan langkah penanganan ketika indikator muncul. Mekanisme penanganan tersebut dapat mencakup logging untuk pemeriksaan, eskalasi ke petugas keamanan, atau penghentian tindakan tertentu. Pada sistem AI yang digunakan untuk pekerjaan, asisten digital pengembang berpotensi menggunakan lingkungan pengujian. Apabila aktivitas berbahaya terdeteksi, akses tertentu bisa ditinjau sebelum dilanjutkan. Meskipun mekanisme perlindungan berlapis bermanfaat, ambang deteksi perlu ditetapkan dengan hati-hati agar proses kerja tetap berjalan dengan wajar.

Efisiensi Biaya Menjadi Keunggulan Teknologi Pengawasan Goodfire

Menurut hasil eksperimen Goodfire, pendekatan deteksi inside-out diuji menggunakan model AI terbuka Kimi K3. Eksperimen perusahaan dilakukan terhadap sekitar 1.500 sesi untuk mengukur kemampuan pendeteksian. Menurut laporan Goodfire, sistem berhasil mendeteksi 94 persen sesi dengan tindakan siber berbahaya. Sebagai hasil evaluasi tambahan, sekitar 8,7 persen aktivitas normal teridentifikasi sebagai potensi masalah. Hasil ini memperlihatkan bahwa masih terdapat peringatan yang tidak tepat. Dengan demikian, administrator perlu mengevaluasi tingkat kesalahan peringatan.

Untuk membandingkan kebutuhan komputasi, Goodfire mengumumkan bahwa evaluasi sejumlah 1.500 sesi model menggunakan probe membutuhkan biaya sekitar US$51. Sebagai perbandingan, sistem pengawasan berbasis model berbiaya rendah memerlukan biaya kurang lebih US$233, sedangkan pengawasan menggunakan model premium menghabiskan biaya mendekati US$10.000. Selain penghematan tersebut, pemantauan menggunakan empat klasifikasi sekaligus dilaporkan menambah penundaan sebelum model mulai merespons kurang dari dua persen. Walaupun hasil pengujian menjanjikan, hasilnya belum otomatis berlaku pada semua model. Oleh sebab itu, pengujian independen masih penting sebelum menentukan tingkat keandalan umum.

Manfaat Sistem Pemantauan Goodfire bagi Perusahaan dan Pengembang

Perkembangan komersial sistem tersebut adalah akses terhadap pengawasan berbasis probe bagi pengguna platform penyedia model AI Baseten. Platform Baseten berperan sebagai sistem untuk menjalankan model kecerdasan buatan. Melalui kerja sama tersebut, organisasi berpotensi menerapkan sistem perlindungan tambahan ketika mengoperasikan model AI. Teknologi Goodfire memiliki manfaat potensial terutama pada sistem AI yang bobotnya tersedia karena pengembang dapat memodifikasi pengaturannya. Berkat dukungan pemantauan berlapis, penyedia layanan AI dapat mengembangkan perlindungan terhadap tindakan agen.

Tidak hanya untuk mengawasi risiko peretasan, pendekatan interpretabilitas model dikembangkan agar dapat memantau beragam pola penyalahgunaan. Bidang pengawasan yang dapat dipilih mencakup aktivitas berbahaya berkaitan dengan CBRN, manipulasi sistem penghargaan, dan penyalahgunaan kemampuan keamanan komputer. Dalam pengembangan agen AI, reward hacking menggambarkan perilaku memanfaatkan celah dalam sistem penghargaan. Sebagai contoh, agen mungkin mencoba memanipulasi hasil evaluasi. Berkat pemantauan perilaku internal, pengembang dapat memperoleh peringatan sebelum masalah menimbulkan dampak lebih besar.

Masa Depan Keamanan Agen AI melalui Sistem Activation Probes

Peluncuran teknologi pemantauan internal Goodfire memperlihatkan arah baru dalam teknologi keamanan agen AI. Berkat pemanfaatan aktivasi internal jaringan saraf, teknologi tersebut dirancang mengenali kemungkinan aktivitas berbahaya tanpa selalu menjalankan pengawas AI berbiaya tinggi. Data eksperimen yang diumumkan perusahaan menunjukkan kemampuan mendeteksi 94 persen aktivitas hacking berisiko, dengan efisiensi komputasi dibandingkan pendekatan pembanding. Meskipun hasilnya menjanjikan, potensi peringatan palsu tetap harus dipertimbangkan. Dengan mempertimbangkan kondisi tersebut, sistem probe perlu diterapkan bersama pengawasan manusia pada aktivitas penting. Bagaimana pendapat Anda, apakah sistem pemantauan internal Goodfire akan meningkatkan kepercayaan terhadap sistem AI otonom? Silakan bagikan pendapat Anda mengenai perkembangan teknologi keamanan AI.