A/B 테스트 계산기

통계적 유의성은 대조군과 변형군 간의 관찰된 전환율 차이가 무작위 우연에 의해 발생할 가능성이 낮음을 의미합니다. 95% 신뢰 수준에서 p-값이 0.05 미만이라는 것은 결과가 우연일 확률이 5%에 불과함을 뜻합니다. 이는 실제 환경에서 효과 지속을 보장하지는 않지만, 합리적인 신뢰도를 가지고 조치를 취할 수 있는 충분한 통계적 증거가 있음을 나타냅니다.

단일 수치는 존재하지 않으며 기준 전환율과 탐지하려는 리프트 크기에 따라 달라집니다. 일반적으로 신뢰할 수 있는 결과를 얻으려면 각 그룹에 최소 100회의 전환이 필요하며, 이상적으로는 수백 회가 권장됩니다. 표본 크기 계획 모드를 사용하여 기준 전환율과 최소 탐지 가능 효과를 입력하면 테스트 시작 전 각 그룹에 필요한 정확한 방문자 수를 확인할 수 있습니다.

p-값은 그룹 간 실제 차이가 없을 때 관측된 차이 또는 그 이상의 차이가 발생할 확률입니다. p-값이 0.03이라는 것은 결과가 무작위 변동으로 인해 발생했을 가능성이 단 3%에 불과함을 의미합니다. 대부분의 팀은 승자를 결정하기 전에 p-값 0.05 미만, 즉 95% 신뢰 수준을 임계값으로 사용하지만, 중요한 의사결정에는 p-값 0.01 미만, 즉 99% 신뢰 수준이 요구될 수 있습니다.

아닙니다. 통계적 유의성은 수집된 실제 데이터에 따라 산출되는 결과인 p-값을 의미합니다. 반면 표본 크기는 테스트가 특정 리프트를 감지하는 민감도를 조절하는 계획 단계의 입력값입니다. 사전에 표본 크기를 계획하지 않고 통계적 유의성에 도달할 때까지 테스트를 진행하면, 우연히 유의미해 보이는 결과로 인해 테스트를 조기에 중단하는 피킹 바이어스가 발생하여 위양성률이 높아질 수 있습니다.

네. 최대 4개의 변형을 추가할 수 있으며, 각 변형은 자체 z-검정, 신뢰 구간 및 p-값을 사용하여 대조군과 비교 검정되므로 모든 결과를 한눈에 비교할 수 있습니다. 여러 변형을 동시에 검정하면 우연히 유의미해 보이는 결과가 나올 가능성이 커지므로, 다수 변형 중 경계선상의 결과가 있다면 각별히 주의하여 단독으로 재검정을 고려하세요.