Kalkulator uji A/B
Signifikansi statistik untuk uji A/B, dengan dukungan lebih dari satu varian, selang kepercayaan pada peningkatan, dan perencana ukuran sampel.
Hasil uji
Hasil terbaik
-
Masukkan data uji Anda
| Grup | Tingkat | Selisih mutlak | Peningkatan relatif | 95% SK pada selisih | z | Nilai-p | Hasil |
|---|
Cara kerja
Kalkulator signifikansi uji A/B menentukan apakah perbedaan tingkat konversi antara kontrol dan satu atau lebih varian bersifat nyata secara statistik dan bukan sekadar kebetulan acak, menggunakan uji-z dua proporsi. Perencana ukuran sampel menghitung berapa banyak pengunjung yang diperlukan untuk sebuah pengujian sebelum Anda menjalankannya.
- Masukkan data Anda
Pengunjung dan konversi untuk kontrol, lalu setiap varian yang Anda uji.
- Pilih tingkat kepercayaan
95% adalah standar umum. Tambahkan varian kedua atau ketiga jika Anda menguji lebih dari satu.
- Baca nilai-p
Di bawah ambang signifikansi Anda berarti perbedaan tersebut kemungkinan besar bukan kebetulan.
Uji-z dua proporsi
z = (tingkat(varian) − tingkat(kontrol)) / √(gabungan × (1−gabungan) × (1/n(kontrol) + 1/n(varian)))
Tingkat gabungan adalah total konversi dibagi dengan total pengunjung di kedua kelompok. Nilai-p berasal dari distribusi normal standar: uji dua arah memeriksa perbedaan dalam kedua arah, uji satu arah hanya memeriksa peningkatan. Nilai-p di bawah ambang signifikansi Anda, 0,05 pada kepercayaan 95%, berarti hasil tersebut kemungkinan besar bukan kebetulan acak.
Ukuran sampel, sebelum Anda menjalankan pengujian
n = (z(kepercayaan) + z(daya))² × (p1(1−p1) + p2(1−p2)) / (p2 − p1)²
p1 adalah tingkat dasar dan p2 adalah tingkat yang ingin Anda deteksi. Perencanaan di awal menghindari bias mengintip, yaitu menghentikan pengujian lebih awal karena hasilnya tampak signifikan secara kebetulan, yang dapat meningkatkan positif palsu. Efek minimum yang lebih kecil atau tingkat kepercayaan yang lebih tinggi sama-sama memerlukan sampel yang lebih besar.
Sebelum menentukan pemenang
Jalankan pengujian selama setidaknya satu siklus bisnis penuh, biasanya satu hingga dua minggu, agar dapat menangkap variasi hari dalam seminggu, meskipun signifikansi muncul lebih awal. Setiap kelompok umumnya memerlukan setidaknya 100 konversi untuk hasil yang andal. Hasil yang signifikan secara statistik bukanlah jaminan bahwa peningkatan akan bertahan setelah peluncuran, melainkan hanya menunjukkan bahwa hasil tersebut kemungkinan bukan sekadar gangguan acak dalam data ini.
Pertanyaan yang sering diajukan
Apa arti signifikansi statistik dalam pengujian A/B?
Signifikansi statistik berarti perbedaan tingkat konversi yang teramati antara kontrol dan varian kemungkinan tidak terjadi secara kebetulan. Pada tingkat kepercayaan 95%, nilai-p di bawah 0,05 berarti hanya ada probabilitas 5% bahwa hasil tersebut merupakan kebetulan semata. Hal ini tidak menjamin peningkatan akan bertahan di lingkungan produksi, melainkan hanya menunjukkan bahwa terdapat cukup bukti statistik untuk mengambil tindakan berdasarkan hasil tersebut dengan keyakinan yang wajar.
Berapa banyak konversi yang diperlukan untuk mencapai signifikansi dalam pengujian A/B?
Tidak ada satu angka pasti: hal ini bergantung pada tingkat konversi dasar dan besaran peningkatan yang ingin Anda deteksi. Sebagai aturan umum, setiap kelompok memerlukan setidaknya 100 konversi, dan idealnya beberapa ratus, untuk hasil yang andal. Gunakan mode Rencanakan ukuran sampel: masukkan tingkat dasar dan efek minimum yang dapat dideteksi untuk mendapatkan jumlah pengunjung tepat yang diperlukan per kelompok sebelum memulai pengujian.
Apa itu nilai-p dalam pengujian A/B?
Nilai-p adalah probabilitas bahwa perbedaan yang teramati, atau yang lebih besar, akan terjadi jika sebenarnya tidak ada perbedaan nyata antarkelompok. Nilai-p sebesar 0,03 berarti hanya ada peluang 3% bahwa hasil tersebut disebabkan oleh variasi acak. Sebagian besar tim menggunakan ambang batas p di bawah 0,05, atau kepercayaan 95%, sebelum menetapkan pemenang, meskipun keputusan berisiko tinggi mungkin memerlukan p di bawah 0,01, atau kepercayaan 99%.
Apakah signifikansi statistik sama dengan ukuran sampel?
Tidak. Signifikansi statistik adalah hasil, yaitu nilai-p, yang bergantung pada data aktual yang dikumpulkan. Ukuran sampel adalah masukan perencanaan yang menentukan seberapa sensitif suatu pengujian dalam mendeteksi peningkatan tertentu. Menjalankan pengujian hingga mencapai signifikansi tanpa merencanakan ukuran sampel terlebih dahulu dapat menyebabkan bias mengintip, yaitu menghentikan pengujian lebih awal karena hasil kebetulan tampak signifikan, yang meningkatkan tingkat positif palsu.
Dapatkah saya membandingkan lebih dari satu varian terhadap kontrol secara bersamaan?
Ya. Tambahkan hingga empat varian dan masing-masing diuji terhadap kontrol dengan uji-z, selang kepercayaan, dan nilai-p tersendiri, sehingga Anda dapat melihat setiap hasil secara berdampingan. Menguji beberapa varian sekaligus memang meningkatkan kemungkinan bahwa salah satunya tampak signifikan semata-mata karena keberuntungan, jadi perlakukan hasil yang berada di ambang batas di antara banyak varian dengan kehati-hatian ekstra dan pertimbangkan untuk mengujinya kembali secara terpisah.