ghkdqhrbals/spring-chatting-server

[Question] MTTFB 변동률 계산 시 Test 수에 의한 가중치 적용 방법?

Closed this issue · 1 comments

ghkdqhrbals commented

일단 저는 nGrinder 로 테스트 지표들을 모아서 확인하고 있습니다. 그 중 가장 중요하게 생각하는 지표는 MTTFB 입니다. MTTFB 가 얼마나 STABLE 하게 되어있는지에 따라 서버의 안전성을 확인할 수 있다고 생각되기 때문인데요. 저는 이 STABLE 을 확인하는 방법 중 하나로 MTTFB 변동률을 측정하고 있습니다. 예를 들어 이런거죠.

image

변동률 = ( |(04:41:18.MTTFB) - (04:41:20.MTTFB)| + |(04:41:20.MTTFB) - (04:41:22.MTTFB)| + ... )/ totalColumnNumber

그런데 자세히 보면 2초동안 계산된 MTTFB 이고 이 사이 집계된 테스트 수또한 존재하는걸 알 수 있습니다. 그렇다면, MTTFB 의 변동률을 계산할 때 Test 수에 맞추어 가중치를 적용하는것이 조금 더 맞는 수치를 보여준다고 생각되었습니다.

혹시 어떤식으로 계산하면 MTTFB 변동률에 Test 수에 의한 가중치를 적용시킬 수 있을까요?

ghkdqhrbals commented

가중치 적용 방법

  • Notation
표기 설명
$i$ csv 의 row 인덱스
$R_i$ csv 의 $i$ 번 째 row 데이터
$MTTFB_i$ $R_i$ 의 MTTFB 값
$Tests_i$ $R_i$ 의 Tests 값

  1. MTTFB 변동량: $\Delta MTTFB_i = MTTFB_{i+1} - MTTFB_i$

  2. MTTFB 절대 백분율 변동률: $MTTFBDiff_i = \left| \frac{\Delta MTTFB_i}{MTTFB_i} \right| \times 100$

  3. 평균 'Tests' 가중치 : $W_i = \frac{Tests_i + Tests_{i+1}}{2}$

  4. 가중치가 적용된 변동률: $WM_i = MTTFBDiff_i \times W_i$

  5. 평균 가중 변동률: $AVGWMP = \frac{\sum WM_i}{\sum W_i}$

$AVGWMP$ : Average of Weighted MTTFB Percentage

이 순서대로 해서 최종적으로 Tests 가중치가 적용된 MTTFB 변동퍼센트인 $AVGWMP$ 를 측정할 수 있었습니다.

그런데 이 방법이 적절한지 모르겠습니다. 이 방법에 수정할 부분이 있을까요? 그리고 어떤식으로 계산하면 MTTFB 변동률에 Test 수에 의한 가중치를 더 알맞게 적용시킬 수 있을까요?