평균의 함정

wiki)
산술평균

산술 평균은 가장 널리 쓰이며, 일반적으로 "평균"이라고도 한다.

하루 1000만명이 들어오는 사이트라고 해보자. 오늘 하루 평균 응답 시간이 1초다. (응답시간을 유저가 로딩을 보는 시간이라고 가정)  
과연 이 사이트는 유저에게 빠른 응답 시간을 제공하고 있는 것일까? 평균으로 보면 그렇다. 하지만 아닐 수도 있다.

다음과 같은 예시들을 보자

케이스1)
1000만명의 응답 시간이 모두 1초인 경우

케이스2)
500만명의 응답시간이 0.5초, 500만명의 응답 시간이 1.5초인 경우

케이스3)
250만명의 응답시간이 0.1초, 500만명의 응답 시간이 1초, 250만명의 응답 시간이 1.9초

케이스4)
90만명의 응답시간이 0.1초, 900만명의 응답 시간이 1초, 10만명의 응답 시간이 9.9초

위의 모든 케이스는 평균 응답 시간이 몇 초일까? 모두 1초이다. 왜냐면 산술 평균의 정의에 따라 계산했기 때문이다.
따라서, 우리의 서비스 목표가 "모든 유저에게 2초 이내의 응답 시간을 준수한다" 라면 10만명에 대해서는 만족하지 못한 것이 된다.

"모든 유저에게" 라면 적어도 가장 느린 응답 시간이나 하위 x% 를 기준으로 잡고 이 유저들에게 목표한 응답 시간을 준수하는가를 살펴봐야 할 것이다.