AI
Vì sao AI agent tiếp xúc khách hàng của bạn cần mô hình dự phòng
Nhà cung cấp mô hình gặp một giờ tồi tệ và agent WhatsApp của bạn im lặng trong khi khách hàng chờ đợi. Mô hình dự phòng là bảo hiểm rẻ nhất cho tình huống đó. Dưới đây là cách cơ chế dự phòng hoạt động, cách chọn mô hình dự phòng và cách nó kết hợp với mô hình nhanh và ngân sách.
Đội ngũ MonoChat Cập nhật: 9 phút đọc
Trong trang này
- Vì sao lỗi mô hình gây hại nhiều hơn trong các cuộc trò chuyện với khách hàng
- Những gì có thể xảy ra sai sót
- Cơ chế dự phòng hoạt động trong agent như thế nào
- Cách chọn mô hình dự phòng
- Mô hình nhanh: nửa còn lại của độ tin cậy
- Ngân sách: lưới an toàn bên dưới lưới an toàn
- Dự phòng không phải là chuyển giao
- Danh sách kiểm tra đơn giản
- Thiết lập một lần, cho mọi kênh
AI agent tiếp xúc khách hàng cần một mô hình dự phòng vì mọi mô hình rồi cũng sẽ gặp lỗi vào đúng lúc tệ nhất: nhà cung cấp ngừng hoạt động, tài khoản của bạn chạm giới hạn tốc độ, một yêu cầu bị hết thời gian chờ, hoặc một cuộc trò chuyện bất thường tiêu tốn nhiều token hơn dự kiến. Không có mô hình dự phòng, agent im lặng và khách hàng phải chờ. Có mô hình dự phòng, một mô hình thứ hai tiếp quản và cuộc trò chuyện tiếp tục. Trong Agent Harness của MonoChat, mỗi node AI Agent có một mô hình chính, một mô hình dự phòng và một mô hình nhanh, cùng giới hạn ngân sách cho mỗi lượt chạy.
Bài viết này giải thích vì sao lỗi mô hình quan trọng hơn trong nhắn tin với khách hàng so với bất kỳ nơi nào khác, cơ chế dự phòng hoạt động ra sao, cách chọn mô hình dự phòng và cách nó kết hợp với mô hình nhanh, ngân sách và chuyển giao cho nhân viên.
Vì sao lỗi mô hình gây hại nhiều hơn trong các cuộc trò chuyện với khách hàng
Trong một công cụ nội bộ, một yêu cầu AI thất bại chỉ gây phiền toái: bạn nhấn thử lại. Trong một cuộc trò chuyện với khách hàng trên WhatsApp, đó là một lời hứa bị phá vỡ. Khách hàng đã hỏi, đã thấy dấu tích xanh và đang chờ câu trả lời.
Một số yếu tố khiến việc nhắn tin với khách hàng đặc biệt nhạy cảm:
- Khách hàng không thử lại. Họ nhắn lại, bực bội hơn, hoặc rời đi.
- Lưu lượng biến động mạnh. Một chiến dịch, một đợt giao hàng chậm hay một đợt giảm giá có thể nhân số cuộc trò chuyện lên nhiều lần trong vài phút, và đó chính là lúc giới hạn tốc độ phát huy tác động.
- Agent thực hiện nhiều lệnh gọi. Agent harness chạy mô hình trong một vòng lặp, thường nhiều lần cho mỗi tin nhắn của khách hàng. Một lệnh gọi thất bại có thể làm đứng cả lượt chạy.
- Thời điểm rất quan trọng trên WhatsApp. Câu trả lời tự do chỉ được phép trong vòng 24 giờ kể từ tin nhắn cuối cùng của khách hàng. Một lần đứng lâu có thể đẩy câu trả lời ra ngoài khung thời gian đó, khi bạn cần đến một mẫu tin nhắn đã được duyệt.
Không điều nào trong số này nói rằng một nhà cung cấp cụ thể là không đáng tin cậy. Nhà cung cấp nào cũng có sự cố, bảo trì và giới hạn năng lực. Vấn đề chỉ là agent của bạn có kế hoạch cho những tình huống đó hay không.
Những gì có thể xảy ra sai sót
Nhà cung cấp ngừng hoạt động. Một phần hoặc toàn bộ, ngắn hoặc dài. Ngay cả mức khả dụng 99,9% mỗi tháng vẫn cho phép hơn 40 phút ngừng hoạt động.
Giới hạn tốc độ. Tài khoản của bạn có thể chỉ cho phép một số lượng yêu cầu hoặc token nhất định mỗi phút. Một giờ cao điểm có thể chạm trần đó ngay cả khi bản thân nhà cung cấp vẫn ổn.
Hết thời gian chờ và phản hồi chậm. Một mô hình thường trả lời trong hai giây có thể mất hai mươi giây khi tải cao. Với khách hàng cầm điện thoại, điều đó giống như không có gì đang xảy ra.
Lượt chạy mất kiểm soát. Một agent lặp vô hạn với một yêu cầu khó hiểu, hoặc một cuộc trò chuyện liên tục dài ra, có thể tiêu tốn nhiều hơn hẳn một lượt chạy bình thường.
Thay đổi mô hình. Nhà cung cấp cập nhật và ngừng cung cấp các mô hình. Một hành vi bạn từng dựa vào có thể thay đổi mà ít được báo trước.
Cơ chế dự phòng hoạt động trong agent như thế nào
Ý tưởng rất đơn giản: khi mô hình chính không thể hoàn thành công việc, một mô hình thứ hai tiếp quản. Trong MonoChat, mô hình dự phòng tiếp quản sau một giới hạn mềm hoặc khi mô hình chính gặp lỗi. Cuộc trò chuyện, các công cụ và hướng dẫn vẫn giữ nguyên; chỉ có mô hình thực hiện công việc thay đổi.
Ba vai trò phối hợp với nhau trong mỗi node AI Agent:
| Vai trò | Chức năng |
|---|---|
| Mô hình chính | Suy luận, quyết định và viết câu trả lời |
| Mô hình dự phòng | Tiếp quản sau giới hạn mềm hoặc khi gặp lỗi |
| Mô hình nhanh | Xử lý các tác vụ nền |
Ngoài các vai trò đó, giới hạn ngân sách cho mỗi lượt chạy đặt mức chi tối đa cho một cuộc trò chuyện.
Cách chọn mô hình dự phòng
Ưu tiên nhà cung cấp khác
Mô hình dự phòng cùng nhà cung cấp bảo vệ bạn trước việc một mô hình hoạt động sai, nhưng không bảo vệ trước sự cố trên toàn nhà cung cấp hay giới hạn tốc độ trên tài khoản của bạn với nhà cung cấp đó. Một mô hình từ nhà cung cấp thứ hai bao quát cả hai. MonoChat cho phép bạn kết nối nhiều nhà cung cấp qua LLM tùy chỉnh, nên đây là một lựa chọn cấu hình chứ không phải một dự án.
Đủ tốt, không cần giống hệt
Mô hình dự phòng không cần là mô hình tốt nhất hiện có. Nó cần tuân theo hướng dẫn của bạn, gọi công cụ đúng cách và viết được câu trả lời tử tế. Hãy kiểm thử riêng nó với các cuộc trò chuyện thực tế của bạn, như thể nó là mô hình chính, trước khi dựa vào nó.
Kiểm tra xem nó có xử lý được công cụ của bạn không
Agent phụ thuộc vào các lệnh gọi công cụ: tra cứu đơn hàng, kiểm tra khung giờ, tạo ticket. Một số mô hình gọi công cụ có cấu trúc tốt hơn nhiều so với các mô hình khác. Một mô hình dự phòng viết văn hay nhưng gọi công cụ sai còn tệ hơn là không có mô hình dự phòng.
Lưu ý các ngôn ngữ bạn phục vụ
Nếu khách hàng của bạn viết bằng tiếng Thổ Nhĩ Kỳ, tiếng Ả Rập hay tiếng Tây Ban Nha, hãy bảo đảm mô hình dự phòng viết các ngôn ngữ đó tốt như mô hình chính. Sự thay đổi đột ngột về chất lượng hoặc giọng điệu sẽ dễ bị nhận ra.
Cân nhắc chi phí theo cả hai hướng
Một mô hình dự phòng rẻ hơn làm giảm chi phí của các lượt chạy dài hoặc bất thường vượt qua giới hạn mềm. Một mô hình dự phòng đắt hơn có thể chấp nhận được nếu nó chỉ xử lý các sự cố hiếm gặp. Hãy quyết định bạn muốn mô hình dự phòng đảm nhận công việc nào.
Mô hình nhanh: nửa còn lại của độ tin cậy
Không phải bước nào cũng cần mô hình tốt nhất của bạn. Các tác vụ nền, tức những việc xung quanh cuộc trò chuyện chứ không phải bản thân câu trả lời, có thể chạy trên một mô hình nhỏ hơn, nhanh hơn. Điều đó dành năng lực và ngân sách của mô hình chính cho những gì khách hàng thực sự nhìn thấy, đồng thời giảm khả năng chạm giới hạn tốc độ trên mô hình chính vào giờ cao điểm.
Trong thực tế: đặt mô hình suy luận mạnh nhất của bạn làm mô hình chính, một mô hình vững từ nhà cung cấp thứ hai làm mô hình dự phòng, và một mô hình nhanh, giá rẻ cho các tác vụ nền.
Ngân sách: lưới an toàn bên dưới lưới an toàn
Mô hình dự phòng giữ cho agent tiếp tục làm việc. Ngân sách giữ cho chi phí trong tầm kiểm soát. Giới hạn ngân sách cho mỗi lượt chạy nghĩa là không cuộc trò chuyện nào, dù kỳ lạ đến đâu, có thể chi nhiều hơn mức bạn đã dự tính. Kết hợp với giới hạn mềm mà sau đó mô hình dự phòng tiếp quản, bạn có một mô hình dễ đoán: các cuộc trò chuyện bình thường chạy trên mô hình chính, các cuộc trò chuyện dài tiếp tục trên mô hình dự phòng và không điều gì mất kiểm soát.
Với khóa nhà cung cấp của riêng bạn, MonoChat không cộng thêm phụ phí AI, nên những gì bạn lập ngân sách chính là những gì nhà cung cấp của bạn tính phí.
Dự phòng không phải là chuyển giao
Thật dễ nghĩ rằng mô hình dự phòng là lời giải cho mọi vấn đề. Không phải vậy. Mô hình dự phòng giải quyết các lỗi kỹ thuật: mô hình ngừng hoạt động, chậm hoặc hết ngân sách. Chuyển giao giải quyết các vấn đề về phán đoán: một khiếu nại, một câu hỏi pháp lý, một khoản hoàn tiền vượt hạn mức của bạn, hoặc một khách hàng đơn giản là yêu cầu gặp người thật.
Trong MonoChat, agent chạy bên trong một luồng, nên việc chuyển giao đến hộp thư chung của đội ngũ với đầy đủ lịch sử luôn sẵn sàng. WhatsApp cũng mong đợi các câu trả lời tự động cung cấp một đường dẫn rõ ràng đến người thật. Hãy thiết kế cả hai đường:
- Mô hình chính gặp lỗi hoặc chạm giới hạn mềm → mô hình dự phòng tiếp tục.
- Vụ việc cần người thật → chuyển giao cho đúng đội kèm lịch sử cuộc trò chuyện.
- Cả hai đều lỗi → luồng báo với khách hàng rằng sẽ có người trả lời, và chuyển cuộc trò chuyện đến hộp thư.
Danh sách kiểm tra đơn giản
- Mô hình chính được chọn vì chất lượng trên các cuộc trò chuyện thực tế của bạn.
- Mô hình dự phòng từ nhà cung cấp thứ hai, được kiểm thử riêng với các công cụ và ngôn ngữ của bạn.
- Mô hình nhanh cho các tác vụ nền.
- Giới hạn ngân sách cho mỗi lượt chạy phù hợp với chi phí cuộc trò chuyện bình thường của bạn, có chừa thêm biên độ.
- Quy tắc chuyển giao rõ ràng trong hướng dẫn của agent và trong luồng.
- Xem lại một mẫu các cuộc trò chuyện sau tuần đầu tiên, bao gồm cả những cuộc đã chạy trên mô hình dự phòng.
Thiết lập một lần, cho mọi kênh
Vì node AI Agent nằm trong luồng MonoChat, cùng các mô hình chính, dự phòng và nhanh bảo vệ agent của bạn trên WhatsApp, Instagram, Messenger, TikTok, Telegram, web chat, SMS và thoại. Và vì Agent Harness cho phép bạn chọn framework, cùng cách tiếp cận này hoạt động dù agent của bạn chạy trên harness tích hợp sẵn của MonoChat, Claude Agent SDK, OpenAI Agents SDK, Pi hay framework của riêng bạn.
Xem cách các vai trò mô hình phối hợp với nhau trên trang Agent Harness.
Áp dụng với MonoChat