Terapkan least privilege
Berikan identitas tersendiri kepada setiap agen dan hanya izin yang diperlukan untuk workflow yang ditugaskan. Hindari kredensial administrator bersama dan akses luas ke seluruh database. Pisahkan izin baca dan tulis jika memungkinkan, serta batasi akses berdasarkan sumber daya, operasi, dan waktu.
Tools sebaiknya menyediakan tindakan yang sempit dan terdefinisi. Validasi input pada batas tools dan tegakkan otorisasi di layanan yang mendasarinya. Jangan menganggap permintaan yang dihasilkan model aman hanya karena berasal dari agen yang disetujui.
Gunakan persetujuan manusia untuk tindakan berdampak tinggi
Klasifikasikan tindakan berdasarkan dampak dan kemudahan pembatalannya. Membaca informasi yang disetujui mungkin berisiko rendah; mengirim pesan eksternal, mengubah data pelanggan, menyetujui pembayaran, menghapus data, atau mengubah infrastruktur produksi dapat memiliki konsekuensi besar.
Wajibkan manusia meninjau tindakan yang diusulkan beserta konteksnya sebelum eksekusi berdampak tinggi. Beberapa tindakan mungkin harus sepenuhnya berada di luar ruang lingkup agen.
Perlakukan konten hasil retrieval sebagai input tidak tepercaya
Prompt injection dapat muncul dalam pesan pengguna, dokumen, situs web, atau email. Konten yang diambil agen tidak boleh mengesampingkan kebijakan sistem atau memberikan kewenangan baru. Pisahkan kebijakan tepercaya dari konten eksternal, gunakan allowlist jika sesuai, dan tegakkan otorisasi pada lapisan tools.
Uji input adversarial yang berusaha membocorkan data, mengubah tugas, atau memicu tindakan tanpa izin.
Lindungi data, pantau perilaku, dan siapkan penanganan kegagalan
Jauhkan API keys dan secrets dari prompt serta konteks percakapan biasa. Gunakan pengelolaan secrets, kredensial berumur pendek jika didukung, dan minimisasi data. Pertahankan aturan akses per pengguna ketika mengambil informasi enterprise.
Catat permintaan penting, pemanggilan tools, keputusan otorisasi, persetujuan, error, dan hasil. Uji pemilihan tools yang salah, argumen tidak valid, API tidak tersedia, data kedaluwarsa, tindakan berulang, biaya tak terduga, dan upaya melampaui izin. Tentukan timeout, retry aman, eskalasi, pencabutan kredensial, dan prosedur rollback.
Panduan OWASP 2025 untuk aplikasi LLM menyoroti risiko termasuk excessive agency, prompt injection, dan kebocoran informasi sensitif. Panduan manajemen risiko AI dari NIST mendukung tata kelola, evaluasi, dokumentasi, dan pengawasan sesuai konteks. Keamanan harus dirancang ke dalam workflow sebelum deployment.
Referensi dan bacaan lanjutan
OWASP Top 10 for LLM Applications (2025): https://genai.owasp.org/llm-top-10/
NIST AI 600-1, Generative AI Profile: https://www.nist.gov/publications/artificial-intelligence-risk-management-framework-generative-artificial-intelligence
NIST SP 800-207, Zero Trust Architecture: https://csrc.nist.gov/pubs/sp/800/207/final
