애플리케이션이 실제로 하는 일을 시간 측정하기
이미 GPU에 올라가 있는 텐서에 대한 테스트는 계산 자체만 설명합니다. 서비스나 학습은 입력을 디코딩하고 준비하고 전송하는 작업도 해야 합니다. 따라서 두 가지 측정을 구성하세요. 격리된 계산 루프와 평소 데이터에서 시작하는 루프입니다. 그 차이가 개선점을 찾을 위치를 알려줍니다. 시간을 기록하기 전에 GPU 작업이 실제로 끝날 때까지 기다리세요. CUDA 런칭은 종종 비동기입니다.
배치를 통제 변수로 사용하기
오프라인 추론의 경우 입력의 길이와 유형을 유지하면서 여러 배치 크기를 비교하세요. 대화형 애플리케이션의 경우 요청 하나의 지연 시간과 가장 느린 요청들의 지연 시간도 측정하세요. 처리량을 최대화하는 배치는 대기를 더 견디기 어렵게 만들 수 있습니다. 80GB에서는 모델 로딩 시점에서 크기 산정을 멈추지 말고 캐시나 활성화를 위한 공간을 남겨 두세요.
가중치 정밀도와 계산 정밀도를 따로 기록하세요. 축소된 형식으로 저장된 모델도 실행 중에는 더 높은 정밀도의 버퍼나 연산을 사용할 수 있습니다.
H100 변형들을 동일시하지 않고 비교하기
이 문서는 H100 PCIe 80GB에 관한 것입니다. H100 SXM이나 여러 카드 구성의 결과가 이 구성까지 자동으로 설명하지는 않습니다. 사용 중인 아키텍처에 맞게 CUDA, PyTorch, 특수 라이브러리를 확인한 다음, 비교하는 GPU들에 공통된 레시피를 선택하세요. 80GB로 충분하지 않다면 H200을 검토하고, 필요가 48GB 이내라면 L40S를 경제성 비교에 추가하세요.
파이프라인 중심 주문 준비하기
3일은 연산과 전송의 비중을 파악하는 데 쓸 수 있습니다. 7일이면 수정 사항을 시험하고 측정을 반복할 수 있습니다. 30일은 추론 캠페인이나 계획된 학습을 지원합니다. 기간과 수량을 선택하고 환경, 추적 정보를 입력하세요. 주문의 암호화폐 안내에 네트워크와 금액이 명시되며, « J’ai payé » 버튼으로 송금을 알립니다.