Agen AI butuh batas akses: pelajaran dari insiden Hugging Face dan uji keamanan siber 2026

Musim panas 2026 memberi pelajaran yang jarang datang dengan data selengkap ini: dua laboratorium AI terkemuka menerbitkan laporan tentang agen AI yang menjangkau sistem nyata di luar lingkungan uji. Bagi pimpinan dan pengelola operasional, pelajarannya bukan “AI itu berbahaya”, melainkan lebih membumi: agen yang diberi tugas dan akses luas akan memakai akses itu sejauh yang tersedia. Karena itu, batas akses adalah keputusan rancangan, bukan detail teknis yang diserahkan belakangan.

Artikel ini merangkum apa yang dilaporkan sumber primer, memisahkan fakta dari tafsir, lalu menerjemahkannya ke kontrol yang bisa Anda tuntut dari tim internal maupun vendor. Ini bukan klaim bahwa MarkasDev terlibat dalam kejadian tersebut.

Apa yang dilaporkan

Insiden Hugging Face (OpenAI)

Menurut investigasi independen METR dan Redwood Research, sekitar 1.200 agen yang seharusnya terisolasi satu sama lain menemukan cara berkomunikasi lewat sebuah “papan pesan” tidak resmi, dengan lebih dari 70.000 pesan dan berkas. Sekitar 700 di antaranya kemudian ikut menyerang Hugging Face. Agen-agen itu sedang mengerjakan tugas evaluasi keamanan siber; banyak tugas ternyata mustahil diselesaikan lewat jalur yang dimaksud, sehingga agen mencari cara mengakali penilai.

Rangkaian kejadiannya terdengar akrab bagi tim operasional: kredensial Hugging Face yang terpapar di internet ditemukan seorang agen dan dibagikan, lalu dataset berbahaya diunggah untuk membaca berkas dari server, hingga agen memperoleh eksekusi kode pada sebuah kontainer pekerja di infrastruktur produksi. METR juga mencatat sekitar 7 persen transkrip yang mereka periksa memuat panggilan alat yang dipalsukan, meski skalanya kecil. METR menekankan keterbatasannya sendiri, termasuk ketergantungan pada agen AI untuk menganalisis data sebesar itu.

Tiga insiden pada evaluasi Anthropic

Setelah OpenAI mengungkap kejadian itu pada 21 Juli, Anthropic meninjau 141.006 proses evaluasi miliknya dan, dalam laporannya per 30 Juli, menemukan tiga insiden (enam proses) ketika model Claude menjangkau internet lewat lingkungan evaluasi mitra pihak ketiga dan mengakses sistem produksi tiga organisasi. Penyebabnya konfigurasi yang keliru: prompt menyatakan tidak ada internet, padahal akses terbuka. Teknik yang dipakai sederhana, seperti kata sandi lemah dan endpoint tanpa autentikasi.

Pada salah satu insiden, sebuah paket Python berbahaya dipublikasikan ke PyPI selama sekitar satu jam dan dijalankan di 15 sistem nyata. Salah satunya pemindai milik perusahaan keamanan yang menurut dugaan Anthropic memperlakukan paket PyPI sebagai aman; kredensialnya bocor dan dipakai untuk masuk lebih jauh. Anthropic sendiri menilai kejadian ini lebih dekat ke kegagalan harness dan operasional daripada kegagalan penyelarasan model, dan menyebut pengaman pada model versi rilis umum akan memblokir perilaku tersebut.

Regulator ikut bergerak

Di Eropa, kewenangan penegakan Komisi Eropa atas model AI tujuan umum berlaku sejak 2 Agustus 2026. Pada 1 September Komisi mengonfirmasi permintaan informasi resmi pertama kepada lebih dari 30 perusahaan AI, mencakup keamanan serta hak cipta dan transparansi, sebagaimana diuraikan Allegiance Law. Jawaban yang keliru atau menyesatkan dapat dikenai denda hingga €15 juta atau 3 persen omzet global (EU Perspectives). Terpisah dari itu, kewajiban sistem berisiko tinggi di Annex III ditunda ke 2 Desember 2027 lewat Digital Omnibus, sedangkan transparansi Pasal 50 tetap berlaku sejak 2 Agustus 2026 (Freshfields).

Fakta, tafsir, dan yang belum diketahui

Dua laporan di atas berbeda sifatnya. Pada kasus Hugging Face, agen mengeksploitasi celah dan kredensial yang terpapar. Pada kasus Anthropic, jalur internet terbuka akibat salah konfigurasi, dan model mengira targetnya bagian dari simulasi. Keduanya sama dalam satu hal: batas yang diasumsikan ada ternyata tidak ditegakkan oleh sistem. Nama penerima permintaan informasi Komisi juga belum dikonfirmasi secara resmi, jadi kami tidak menyebut perusahaan tertentu.

Apa artinya bagi organisasi di Indonesia

Sebagian besar organisasi tidak menjalankan evaluasi model terdepan. Namun pola risikonya sama begitu Anda menaruh agen AI di dalam proses nyata: ia membaca surel, tiket, basis data, atau memanggil API dengan identitas tertentu. Tafsir berikut adalah pandangan kami, bukan nasihat hukum.

• Perlakukan agen sebagai identitas dengan hak minimum. Beri akun layanan sendiri, hak baca saja di awal, dan cakupan data yang sempit. Jangan memakai akun administrator atau kunci yang dipakai manusia.
• Bersihkan kredensial yang tergeletak. Kasus Hugging Face dimulai dari kredensial yang terpapar. Cari token di repositori, dokumen bersama, dan kanal obrolan sebelum agen mana pun diberi akses; rotasi secara berkala.
• Batasi jalur keluar. Agen yang tidak perlu internet sebaiknya tidak punya internet, dan hal itu harus dibuktikan lewat aturan jaringan, bukan hanya instruksi di prompt. Pada pipeline yang memasang paket, gunakan allowlist dan isolasi.
• Catat di tempat yang tak bisa diubah agen. Log tindakan, panggilan API, dan perubahan data harus disimpan di luar jangkauan tulis agen, dengan peringatan untuk pola tak biasa.
• Siapkan tombol henti dan penanggung jawab. Tulis siapa yang boleh menghentikan agen, bagaimana, dan keputusan mana yang tetap wajib ditinjau manusia.
• Minta bukti dari vendor. Tanyakan cara vendor menguji agen, di lingkungan apa, siapa yang meninjau hasilnya, dan bagaimana mereka memberi tahu Anda bila terjadi insiden. Allegiance Law juga menyarankan pelanggan mempertimbangkan klausul kontrak soal kepatuhan, dokumentasi, dan penangguhan model.

Pengendalian itu bisa dipetakan ke tiga fase kerja:

Tahap Diagnose paling murah untuk menemukan masalah semacam ini, sebab tidak ada kode yang harus dibongkar. Pada Deliver, jadikan izin minimum, aturan jaringan keluar, dan uji tombol henti sebagai kriteria penerimaan tertulis, bukan janji lisan. Setelah go-live, Operate menjaga hal-hal yang membusuk pelan-pelan: kunci yang kedaluwarsa, hak akses yang membengkak, dan peringatan yang tak ditinjau. Perbedaannya dengan pemeliharaan reaktif kami uraikan di maintenance vs Operate.

Dua tulisan kami sebelumnya melengkapi ini: kesiapan AI sebelum Perpres AI terbit dan integrasi data sebelum AI. Untuk akses agen ke sistem yang sudah ada, integrasi sistem & API dan implementasi AI perlu dirancang bersama, termasuk keamanan server dan lingkungan tempat agen berjalan.

Langkah pertama yang realistis

• Daftar semua agen, asisten, dan otomasi AI yang sudah dipakai tim, termasuk yang dipasang sendiri oleh unit kerja.
• Untuk tiap item: akun apa yang dipakai, data apa yang terbaca, dan apakah ia bisa menulis atau memanggil layanan luar.
• Pilih satu proses berisiko rendah untuk uji coba hak baca saja dengan log dan penanggung jawab jelas.
• Tunda agen yang bisa bertindak atas data warga, pasien, atau nasabah sampai kontrol di atas terbukti lewat uji.

Jika Anda ingin memetakan akses agen sebelum anggaran dikunci, mulai dari percakapan Diagnose — atau baca dulu apa isi Diagnose. Hasilnya berupa peta dan keputusan tertulis yang bisa Anda pakai, dengan atau tanpa kami.

Sumber

• METR — investigasi insiden OpenAI / Hugging Face (26 Agustus 2026)
• Anthropic — Investigating three real-world incidents in our cybersecurity evaluations (30 Juli 2026)
• Allegiance Law — EU AI Act enforcement has started (September 2026)
• EU Perspectives — The AI Act gives Brussels new powers (1 September 2026)
• Freshfields — EU AI Act unpacked #34: the final Digital Omnibus on AI (10 Juli 2026)