bacth_size 별 학습시간

 

먼저 batch_size 32를 기준으로 삼고 순수 Train 시간(초) 기준으로 그래프를 작성하였다. 

 

Computer System

CPU : 라이젠5 3600 4.1 OC

GPU : 1080 ti 11G x2

RAM : 24G

PSU : 1000w

M/B : AX370

 

일단 이번 test는 GPU 를 2장을 SLI로 묶었을때의 학습 시간에 대해서 TEST 한것이다.

 

batch_size 별로 학습의 영향(loss, accuracy)이 얼마나 있을지에 대한 연구가 진행되고 있다고 한다. 

 

사실 내가 이해한 바로는 batch_size가 작을 수록 학습시간은 늘어나지만 학습에 대한 디테일이 좋아져서 적은 epoch으로도 학습이 잘된다라고 알고있고,  bacth_size가 커지면 그 만큼의 train_data들이 뭉개져서 학습시간 대비 학습량을 늘려야 한다 정도 이다.

(이건 그냥 경험상내용을 전해들은거라 알아서 판단하시길 바란다.) 

 

쉽게 말하자면

 

train_set은 1만개이고 1epoch 당

batch_size 1일경우 1개씩 10000번을 계속 학습을 하는것이고

batch_size 100일경우 100개씩 100번만 학습을 하면되는 것이다. 

 

예를들면 전자의 경우 1번 학습하는데 1초라고 하면 10,000초가 걸릴것이고, 후자의 경우 100초가 소모될 것이다. 

(사실 이것도 극단적으로 예를 든것이지, batch_size 마다의 연산시간은 다를것이다.)

 

그렇다면 bacth_size 1로 몇번의 epoch으로 해야 학습이 잘될것인가..

bacth_size 100으로 몇번의 epoch을 해야 학습이 잘되고, 전자와 후자의 득, 실이 있을 것인가 라는 고민을 해보게 된다.

 

사실 어느 사람에게나 시간이 가장 중요할 것이다. 시간이 남아도는사람은 없을거 같다.

빠르게 학습되고 좋은 결과물이 나오는게 가장 이상적이지 않을까?

 

지금의 test는 bacth_size 32를 기준으로 작성한것이다.

 

다 같은 동일한 조건으로 batch_size만 변경해서 학습에 걸린 시간을 나타낸 것이라 거기에 대한 기술적인 분석은 좀 더 경험치를 쌓고 하는걸로..