Ada masa ketika saya mengira LLM dan Vector Database hanya relevan untuk chatbot, asisten virtual, atau AI yang bisa menjawab “̶s̶i̶a̶p̶a̶ ̶d̶a̶l̶a̶n̶g̶ ̶p̶e̶m̶b̶u̶n̶u̶h̶a̶n̶ ̶x̶x̶x̶x̶x̶x̶ apa itu love language” dengan kalimat manis. Tapi ternyata, keduanya bisa dimanfaatkan sebagai alat bantu yang efektif untuk meringankan kinerja Engineer yang bertugas menjaga reliability suatu sistem.

Kita tahu pentingnya menulis postmortem ketika terjadi insiden. Tapi ternyata itu saja tidak cukup. Menulis postmortem sering jadi beban tambahan bagi sebagian invididu terutama jika issue tersebut sudah lewat seminggu dan ingatan mulai kabur seiring bertambahnya umur. Tanpa bantuan LLM dan Vector Database, kurang lebih prosesnya seperti ini:

• Buka Google Docs/Confluence/Notion, tulis dampak, diam sejenak selama 30 menit dan berusaha untuk mengingat kembali urutan kejadian dan merangkai kata-kata yang ciamik.
• Cari insiden yang serupa pada waktu terdahulu akan sangat sulit apalagi jika postmortem disimpan pada tools yang tidak memiliki fitur search yang canggih.
• Menebak kronologi dari log yang sudah di-rotate.
• Menulis ulang sesuatu yang sebenarnya pernah terjadi dengan bentuk mirip.

Hasil akhirnya? Penyusunan dokumen memerlukan waktu yang lama, isi seadanya, tidak terlalu berguna untuk pembelajaran ke depan, dan berpotensi untuk mengurangi produktivitas. Dengan sedikit eksperimen, saya mencoba membangun sistem sederhana menggunakan dua tools tersebut:

• LLM lokal menggunakan LLaMA untuk menyusun draft postmortem dari kronologi singkat
• Vektor Database lokal menggunakan Qdrant untuk menyimpan dan mencari insiden terdahulu secara semantik

Cukup berikan timeline insiden, dan sistem akan:

1. Menyimpan datanya ke vector database
2. Menyusun postmortem otomatis berdasarkan kronologi tersebut
3. (Opsional) Menambahkan konteks dari insiden serupa sebelumnya

Mungkin ada yang bertanya: “Kalau cuma untuk nyusun kalimat, bukannya cukup pakai LLM aja? Ngapain ribet untuk setup Vector Database?”

Jawabannya sederhana: karena insiden jarang yang benar-benar baru. Tanpa Vektor Database, LLM seperti penulis amnesia yang jago bikin kalimat, tapi akan sulit mengingat kejadian sebelumnya.

Dengan Vektor Database, kita bisa:

• Mencari insiden yang serupa dalam hitungan detik
• Menyisipkan kronologi insiden lama ke prompt LLM
• Membantu individu membuat postmortem yang bukan hanya bagus, tapi juga kontekstual

Karena sesungguhnya, hal tersulit itu bukan menulis postmortem-nya tapi mengingat dengan tepat apa yang pernah terjadi secara tepat, cepat dan bagaimana kita menanganinya.

Bersambung di bagian kedua, ya 🙂