torch

• Main name-space
• Tensor 등의 다양한 수학 함수가 포함되어 있으며 NumPy와 유사한 구조를 가짐

torch.autograd

• 자동 미분을 위한 함수들이 포함되어 있음
• 자동 미분의 on/off를 제어하는 콘텍스트 매니저(enable_grad/no_grad)
• 자체 미분 가능 함수를 정의할 때 사용하는 기반 클래스인 ‘Function’ 등이 포함됨

torch.nn

• 신경망을 구축하기 위한 다양한 데이터 구조나 레이어 등이 정의되어 있음
  • RNN, LSTM과 같은 레이어, ReLU와 같은 활성화 함수, MSELoss와 같은 손실 함수

torch.optim

• 확률적 경사 하강법(Stochastic Gradient Descent, SGD)를 중심으로 한 파라미터 최적화 알고리즘이 구현되어 있음

torch.utils.data

• SGD의 반복 연산을 실행할 때 사용하는 미니 배치용 유틸리티 함수가 포함되어 있음

torch.onnx