Tinjauan Percakapan AI Mingguan: Tiga Puluh Menit yang Menjaga Asisten Tetap Jujur

Asisten AI sebuah klinik menjawab pertanyaan janji temu dengan baik selama tiga bulan. Lalu klinik mengubah jam buka hari Sabtu. Tidak ada yang memperbarui asistennya. Selama lima minggu ia memberi tahu pasien bahwa klinik buka sampai 17.00 di hari Sabtu, dan beberapa pasien tiba di depan pintu terkunci. Asistennya tidak pernah rusak. Informasi di belakangnya yang menjadi usang, dan tidak ada yang melihat. Tinjauan percakapan AI mingguan adalah kebiasaan melihat itu.

Mengapa dashboard tidak cukup

Dashboard melaporkan hitungan: pesan terjawab, waktu respons rata-rata, porsi yang ditangani tanpa manusia. Semuanya bisa sangat bagus sementara jawabannya keliru. Asisten yang mengirim pasien ke klinik tutup punya waktu respons sempurna.

Hanya membaca percakapan yang sebenarnya yang memperlihatkan apakah pelanggan mendapat jawaban yang benar dan berguna. Tiga puluh menit seminggu adalah harga untuk mengetahuinya.

Memilih yang tiga puluh

Dua puluh secara acak. Dari semua yang ditangani asisten selama seminggu. Acak itu penting. Bila Anda hanya membaca yang tampak menarik, kegagalan yang senyap terlewat.

Sepuluh dengan sengaja:

• Percakapan yang diserahkan ke manusia.
• Percakapan ketika pelanggan berhenti membalas tepat setelah jawaban asisten.
• Percakapan yang memuat kata seperti "salah", "bukan itu maksud saya", "komplain", "manusia", "admin".
• Percakapan tentang apa pun yang baru berubah: harga baru, produk baru, jam baru.
• Percakapan terpanjang minggu itu.

Dua puluh yang acak mengukur mutu sehari-hari. Sepuluh yang dipilih menemukan masalah.

Lembarnya

Lima kolom sudah cukup.

Benar berarti faktanya tepat. Membantu berarti kebutuhan pelanggan yang sebenarnya terpenuhi. Sebuah jawaban bisa benar dan tidak membantu: jam buka yang akurat diberikan kepada orang yang bertanya apakah dokternya ada hari ini.

Enam hal yang dicari

1. Fakta keliru. Harga, jam, stok, kebijakan. Paling serius dan paling mudah diperbaiki begitu ditemukan.

2. Rincian karangan. Apa pun yang spesifik dan tidak ada di bahan rujukan Anda: waktu kirim, diskon, fitur. Ini memperlihatkan asisten mengisi kekosongan, dan perbaikannya adalah memberi tahu apa yang dilakukan ketika ia tidak tahu.

3. Maksud meleset. Pelanggan menanyakan satu hal dan dijawab hal lain. Sering disebabkan pesan pendek atau ambigu. Cari pola dalam cara pelanggan menyusun kalimat.

4. Serah terima telat atau tidak ada. Pelanggan kesal, meminta manusia, atau menanyakan hal yang sama dua kali, dan asisten jalan terus. Periksa aturan serah terima Anda.

5. Gaya. Terlalu resmi, terlalu santai, terlalu panjang, atau ceria di saat yang salah, seperti tanda seru saat membalas keluhan.

6. Jalan buntu. Asisten menjawab dan percakapan berhenti tanpa pelanggan sampai ke pesanan, janji temu, atau manusia. Tanyakan apa semestinya langkah berikutnya.

Tandai tiap masalah dengan salah satu dari enam ini. Setelah beberapa minggu, tanda itu memperlihatkan di mana pekerjaannya.

Agenda tiga puluh menit

• Menit 0 sampai 20: baca dan tandai. Dua orang, masing-masing lima belas percakapan, atau bersama di satu layar. Satu baris per percakapan di lembar.
• Menit 20 sampai 25: hitung. Berapa yang benar, berapa yang membantu, berapa untuk tiap jenis masalah.
• Menit 25 sampai 30: putuskan. Pilih satu atau dua perbaikan yang menjawab masalah paling sering atau paling serius. Tugaskan masing-masing ke seseorang dengan tanggal.

Jangan mencoba memperbaiki semuanya. Satu perbaikan nyata tiap minggu menumpuk. Sepuluh niat baik tidak.

Mengubah temuan menjadi perbaikan

Tiap jenis masalah punya obat yang lazim.

Setelah perbaikan, uji. Kirim lagi pertanyaan yang sama dan pastikan jawabannya berubah. Simpan pertanyaan itu di daftar pertanyaan uji untuk dijalankan lagi setelah perubahan berikutnya.

Pantau tiga angka dari waktu ke waktu

Dari dua puluh yang acak tiap minggu:

• Angka benar. Porsi yang ditandai benar.
• Angka membantu. Porsi yang ditandai membantu.
• Mutu serah terima. Dari chat serah terima yang ditinjau, porsi yang diserahkan pada saat yang tepat dengan konteks yang cukup.

Gambarkan tiap minggu. Penurunan setelah harga berubah atau produk baru masuk memberi tahu bahwa bahan rujukan belum diperbarui. Kenaikan yang ajek memberi tahu bahwa tinjauannya bekerja.

Dua puluh adalah sampel kecil, jadi jangan terlalu membaca gerakan satu minggu. Yang diperhitungkan adalah kecenderungan selama sebulan.

Log perubahan

Simpan daftar sederhana: tanggal, apa yang diubah di informasi atau instruksi asisten, dan mengapa. Ketika mutu bergeser, log memperlihatkan apa yang berubah tepat sebelumnya. Tanpa itu, tiap penurunan menjadi misteri.

Kapan meninjau di luar jadwal

Adakan tinjauan tambahan yang lebih singkat:

• Sehari setelah perubahan harga, jam, kebijakan, atau produk.
• Setelah perubahan apa pun pada instruksi asisten.
• Ketika penyedia AI mengganti model di baliknya, bila Anda diberi tahu.
• Setelah keluhan yang menyebut asisten.
• Selama promo atau musim ramai.

Kesalahan yang umum

• Meninjau hanya ketika ada yang salah.
• Membaca yang buruk saja. Anda kehilangan ukuran mutu sehari-hari.
• Tanpa lembar. Kesan sudah pudar minggu depan.
• Menemukan masalah dan tidak memperbaiki satu pun.
• Memperbaiki sepuluh hal sekaligus, sehingga tidak ada yang tahu perubahan mana yang menolong atau merusak.
• Membiarkannya berhenti setelah sebulan yang bagus. Asisten klinik tadi bagus selama tiga bulan.
• Menyalahkan alatnya. Sebagian besar temuan berakar pada informasi yang tidak diberikan atau tidak diperbarui usaha.

Ongkosnya

Setengah jam untuk dua orang tiap minggu berarti sekitar empat jam sebulan. Bandingkan dengan satu pelanggan yang menerima harga keliru, atau lima pasien di depan pintu terkunci. Tinjauan ini asuransi yang murah, sekaligus cara tercepat sebuah tim belajar apa saja yang bisa dipercayakan kepada asisten.

Di Polynusa

Percakapan yang ditangani agen AI Polynusa berada di inbox yang sama dengan percakapan tim, sehingga bisa dibuka, dibaca, dan dicari untuk tinjauan seperti ini, dan informasi usaha yang dibaca agen bisa diperbarui di workspace. Lihat halaman harga.

Ringkasan

Tiap minggu, baca dua puluh percakapan acak dan sepuluh yang dipilih. Tandai masing-masing benar dan membantu atau tidak, beri jenis masalahnya, dan hitung. Pilih satu atau dua perbaikan, tugaskan, dan uji. Pantau angka benar, angka membantu, dan mutu serah terima dari waktu ke waktu, simpan log perubahan, dan tinjau lagi setelah apa pun berubah. Setengah jam seminggu menjaga asisten yang baik agar tidak diam-diam menjadi asisten yang keliru.

FAQ

Berapa percakapan AI yang perlu ditinjau tiap minggu?

Tiga puluh adalah angka yang praktis untuk usaha kecil: dua puluh dipilih acak dan sepuluh dipilih sengaja, seperti chat yang diserahkan ke manusia, berakhir tanpa balasan pelanggan, atau memuat keluhan. Cukup untuk melihat pola dan cukup sedikit untuk selesai dalam setengah jam.

Siapa yang sebaiknya melakukan tinjauan mingguan?

Orang yang memegang asisten, bersama seseorang yang tiap hari berbicara dengan pelanggan. Pemegang tahu apa yang bisa diubah di instruksi, dan orang garis depan tahu seperti apa jawaban yang baik. Menggilir orang kedua menyebarkan pemahaman ke seluruh tim.

Apa yang dilakukan ketika tinjauan menemukan jawaban keliru?

Pertama, periksa apakah pelanggannya dirugikan dan hubungi bila ya. Lalu cari penyebabnya: informasi tidak ada, informasi usang, dokumen bertentangan, atau instruksi tidak jelas. Perbaiki sumbernya, uji lagi pertanyaan yang sama, dan catat perubahannya beserta tanggal.