Satu Model AI atau Beberapa? Routing dan Cadangan Antar Model

Saat membangun fitur AI pertama, hampir semua orang memulai dengan satu model dari satu penyedia. Itu wajar dan cukup untuk uji coba. Masalahnya muncul setelah fitur dipakai sungguhan: penyedia sesekali lambat atau error, tugas yang ringan ikut dikerjakan model yang mahal, dan mengganti model terasa menakutkan karena semuanya bergantung padanya. Artikel ini membahas cara merancang routing, yaitu aturan model mana yang dipakai untuk permintaan apa, beserta cadangannya.

Model berbeda untuk tugas berbeda

Tidak semua permintaan sama beratnya. Menjelaskan pesan error singkat atau merangkum satu paragraf cukup dikerjakan model ringan yang cepat dan murah. Membahas soal yang panjang, membaca gambar, atau menyusun penjelasan bertahap yang runtut lebih cocok untuk model yang lebih kuat. Pola yang praktis adalah memakai model ringan sebagai bawaan dan menyimpan model kuat untuk kasus tertentu.

Tulis aturan pemilihan model supaya bisa diperiksa, bukan dibiarkan acak atau ditebak oleh AI lain.

Eskalasi bersyarat ke model yang lebih kuat

Eskalasi berarti permintaan diteruskan ke model yang lebih kuat hanya bila memenuhi syarat tertentu. Contoh syarat yang mudah diperiksa oleh sistem:

• Pengguna secara eksplisit meminta penjelasan lengkap, bukan sekadar petunjuk.
• Permintaan memuat gambar atau dokumen yang panjang.
• Pengguna sudah beberapa kali gagal atau mengulang pertanyaan yang sama.
• Jawaban model ringan ditolak oleh pemeriksa otomatis.

Syarat seperti ini bisa dicatat dan dihitung, sehingga Anda tahu berapa persen permintaan yang naik ke model kuat dan apakah aturannya perlu dilonggarkan atau diperketat.

Cadangan saat penyedia gagal

Setiap penyedia AI bisa mengalami gangguan. Supaya pengguna tidak melihat layar kosong, susun urutan cadangan yang jelas:

1. Batas waktu per panggilan. Bila model tidak menjawab dalam beberapa detik, anggap gagal dan pindah ke pilihan berikutnya.
2. Model atau penyedia cadangan. Pilihan kedua dicoba otomatis bila pilihan pertama gagal.
3. Istirahatkan model yang bermasalah. Bila satu model gagal berulang kali, lewati sementara selama beberapa saat supaya pengguna lain tidak ikut menunggu.
4. Jawaban tanpa AI. Bila semua model gagal, tampilkan materi resmi, FAQ, atau pesan yang jujur bahwa layanan sedang terganggu.

Kalau bisa, jawab tanpa memanggil AI

Pilihan termurah dan paling cepat sering kali bukan model mana pun. Bila jawaban sudah tersedia di sistem, misalnya petunjuk resmi, FAQ, status pesanan, atau jadwal, tampilkan langsung. AI cukup dipanggil untuk pertanyaan bebas yang memang tidak bisa dijawab dengan cara biasa. Jalur tanpa AI ini juga menjadi cadangan terakhir saat batas biaya harian tercapai.

Evaluasi sebelum mengganti model

Model baru terus bermunculan. Supaya penggantian model tidak menjadi taruhan, siapkan beberapa hal sejak awal:

• Model diatur lewat konfigurasi, bukan ditulis mati di kode, sehingga beralih atau kembali ke model lama tidak perlu mengubah program.
• Pemeriksa yang sama untuk semua model. Aturan seperti "jangan mengutip di luar sumber" berlaku apa pun modelnya.
• Daftar kasus uji dari pertanyaan nyata, dengan jawaban yang diharapkan. Jalankan pada model lama dan model baru, lalu bandingkan hasil dan biayanya.
• Tes otomatis untuk aturan routing, supaya perubahan urutan cadangan tidak diam-diam merusak eskalasi.

Contoh nyata: tutor AI Numekara

Tutor AI di Numekara, bisnis pendidikan kami yang sudah live, memakai pola di atas. Model bawaannya adalah DeepSeek versi ringan lewat OpenRouter, dan versi yang lebih kuat disiapkan sebagai model eskalasi. Model kuat didahulukan hanya dalam kondisi tertentu, misalnya siswa meminta pembahasan lengkap, soal memuat gambar, siswa meminta petunjuk yang lebih dalam, atau berulang kali membuat kesalahan yang sama. Untuk latihan coding, model ringan dianggap cukup, dan eskalasi baru terjadi bila siswa masih buntu setelah beberapa kali meminta petunjuk.

Bila model pertama gagal atau terlalu lama menjawab, sistem mencoba model berikutnya. Model yang gagal tiga kali berturut-turut dilewati sementara, dan pencatatannya dibedakan per model. Setelah itu ada penjawab berbasis aturan yang menyusun petunjuk dari materi resmi tanpa memanggil AI. Penjawab ini juga menjadi jalur utama untuk permintaan petunjuk biasa, dan satu-satunya jalur saat kuota atau batas biaya hari itu habis. Setiap jawaban AI, dari model mana pun, diperiksa otomatis sebelum tampil, dan jawaban yang ditolak diganti petunjuk resmi.

Penyedia dan model diatur lewat konfigurasi. Sebelum pertengahan Oktober 2026 tutor ini memakai Gemini, dan kembali ke Gemini cukup dengan mengubah pengaturan. Saat deploy, bila kunci OpenRouter tidak tersedia, sistem otomatis memakai Gemini. Urutan eskalasi dan cadangannya juga dijaga dengan tes otomatis.

Kapan satu model sudah cukup

Routing menambah bagian yang harus dirawat. Bila fitur AI Anda masih uji coba, dipakai sedikit orang, atau tidak kritis bagi pelanggan, satu model dengan batas waktu dan pesan cadangan yang jujur sudah memadai. Tambahkan routing ketika pemakaian mulai nyata, biaya mulai terasa, atau gangguan penyedia mulai berdampak.

Fitur AI yang baik tidak bergantung pada satu model. Ia tahu kapan memakai model ringan, kapan naik ke model kuat, dan kapan cukup menjawab dari materi resmi.