처리량을 찾기 전에 유용한 결과를 정의하기
상호작용 환경에서는 첫 토큰까지의 대기 시간과 전체 응답까지의 대기 시간을 측정하세요. 오프라인 코퍼스의 경우, 예상되는 모든 출력을 얻는 데 필요한 시간을 측정하세요. 두 경우 모두 수용 기준을 정하세요. 알려진 응답에 대한 정확성, 순위 품질 또는 검증된 필드 추출 등입니다. 구문상 유효한 JSON이라도 여전히 잘못된 답변을 포함할 수 있습니다.
대기열 대기, 처리, 그리고 도구가 허용하는 경우 클라이언트가 관찰하는 전체 여정을 분리하세요. 엔진 내부 측정은 애플리케이션 측정과 경계가 다릅니다. vLLM 메트릭 문서는 특히 대기, 첫 토큰, 총 소요 시간을 구분합니다. 어떤 엔진을 선택하든 측정 기록에서 이 구분을 유지하세요.
기술 출처: vLLM — 요청 및 지연 메트릭
요청을 선택 기준으로 전환하기
안정적인 식별자를 사용해 짧은 입력, 일반적인 입력, 긴 입력을 준비하세요. 모델, 토크나이저, 대화 템플릿, 생성 파라미터를 유지하세요. 애플리케이션이 추가한 이력과 문서를 포함해 실제로 전송된 토큰을 세세요. 요청한 배치, 전송한 동시성, 실제로 동시에 처리된 요청을 각각 따로 기록하세요. 이 숫자들은 반드시 같지는 않습니다.
| 고정할 입력 | 측정 및 단위 | 선택에 미치는 영향 |
|---|---|---|
| 전체 프롬프트 및 출력 제한 | 요청당 입력 및 출력 토큰 | 긴 사례와 제한에서 잘린 응답 확인 |
| 동시 요청 및 도착 속도 | 활성, 대기 및 완료된 요청 | 요구 지연 시간으로 지속 가능한 부하 판단 |
| 정밀도, 양자화 및 캐시 | GPU당 최대 메모리, 바이트 또는 GiB 단위 | 예상 부하에서 메모리를 초과하는 설정은 제외합니다 |
| 품질 규칙과 참조 기준 | 허용 출력 / 기대 출력, 비즈니스 지표 | 동일한 기준을 충족하는 변형만 비교합니다 |
| 타이머 범위 | 첫 토큰, 전체 응답 또는 코퍼스: 초 단위 | 동일한 경계를 가진 시간을 비교합니다 |
| 파일 회수까지의 일정 | 전체 기간, 시간 또는 일 단위 | 그다음 3일, 7일 또는 30일 요금제를 선택합니다 |
컨텍스트와 동시성으로 메모리 측정하기
토큰을 하나씩 생성하는 자기회귀 모델에서 KV 캐시는 어텐션 상태를 보존합니다. 그 크기는 모델과 보존되는 토큰 수에 따라 달라집니다. 동적 캐시는 생성 중에 커질 수 있고, 정적 캐시는 최대 크기를 미리 예약합니다. 일부 슬라이딩 윈도우 레이어는 이 증가를 제한합니다. 따라서 실제로 사용하는 전략으로 예상 길이와 동시성을 테스트하세요.
가중치 양자화와 캐시 양자화는 서로 다른 선택입니다. 예를 들어 bitsandbytes는 일부 선형 레이어를 양자화된 버전으로 교체하는데, 이것이 실행 중의 모든 할당을 설명하지는 않습니다. 정밀도를 변경한 후에는 전체 피크가 같은 비율로 줄어든다고 가정하지 말고 메모리와 품질을 다시 확인하세요.
PyTorch에서는 할당된 텐서의 피크와 할당자가 예약한 메모리의 피크를 각각 기록하세요. 두 값을 더하지 마세요. 측정한 GPU와 단위를 명시하세요: 1 GiB는 2³⁰바이트입니다. 이 카운터가 장치 전체 사용량을 반드시 나타내는 것은 아닙니다. 메모리 문서에서 그 한계를 자세히 설명합니다.
기술 출처: Hugging Face Transformers 5.17 — KV 캐시 전략 · Hugging Face Transformers 5.17 — bitsandbytes 양자화 · PyTorch 2.14 — CUDA 메모리 관리 및 카운터
300개 문서에 대한 측정 가능한 시험
허가된 코퍼스로 수행할 예시: 300개 문서에서 날짜, 금액, 카테고리를 추출합니다. 기대 값을 검토하고, 누락 필드 처리 방식을 명시하며, 시험 전에 합격 기준을 정하세요. 문서 수는 프로토콜을 설명할 뿐이며, 어떤 시간이나 점수, 처리량도 가정하지 않습니다.
- 300개 식별자, 모델 리비전, 프롬프트, 토큰 한도, 파싱 규칙을 고정하세요. 긴 문서는 결산에서 식별 가능하게 유지하세요.
- 한 번에 하나의 요청으로 기준 실행을 하세요. 로딩, 워밍업, 측정을 분리하고, 문서별 예측과 오류를 보존하세요.
- 그다음 한 번에 하나의 파라미터만 늘리세요: 일괄 처리에는 batch를, 요청 엔진에는 동시성을 조정합니다. 동일한 입력과 품질 기준을 유지하세요.
- 각 실행마다 시간, 메모리 피크, 중복 없이 회수된 식별자 수, 허용된 출력 수를 기록하세요. 측정을 반복하고 원시 값과 분산을 함께 보존하세요.
- 변형이 실패하면 그 사유를 기록하세요: 메모리, 잘림, 형식 또는 품질. 배치 축소나 재시도는 문서화할 결정이지, 지워야 할 실패가 아닙니다.
IteraGPU Lab v1 리소스를 올바른 범위에서 사용하기
노트북과 함께 제공되는 스크립트는 가중치 계산과 작은 합성 네트워크에서의 측정을 제안합니다. 측정 코드는 로컬 RTX 5070에서 PyTorch 2.11.0으로, 작은 float32 구성에서 실행되었습니다. 이 시험은 해당 실행 사례를 검증할 뿐, LLM이나 KV 캐시, 또는 여러분의 요청에 대한 카탈로그 GPU를 측정하지 않습니다.
노트북으로 카운터를 이해한 다음, 실제 환경에서 실제 부하를 측정하세요. 품질 프로토콜과 원시 표는 비교를 준비하는 데 사용됩니다. 배포된 노트북의 출력과 CSV 결과 행은 비어 있으며, 이 절차는 어떤 모델이나 드라이버도 설치하지 않습니다. 실행 전에 README의 사전 요구 사항을 읽어 보세요.
- IteraGPU Lab v1 메모리 노트북
메모리 측정을 이해하기 위한 계산과 작은 합성 네트워크.
- 작성할 품질 프로토콜
고정 입력, 출력 허용 기준, 시험 비교.
- 빈 원시 표
실제 실행마다 한 행씩, 파라미터, 측정값, 판정 포함.
- IteraGPU Lab v1의 사전 요구 사항과 한계
이미 수행된 로컬 시험의 지침과 정확한 범위.
측정에서 요금제로 넘어가기
선택 기준표에는 호환 환경, 카드당 메모리, 컨텍스트, 동시성, 달성 품질, 측정된 소요 시간이 모두 담겨야 합니다. 이 기준을 충족하는 구성들을 비교한 뒤, 전체 일정(준비, 처리, 평가, 재개, 내보내기)에 따라 3일, 7일, 30일 요금제를 비교하세요. benchmarks 문서의 계산기는 전체 요금제와 실제로 검증된 유효 코퍼스를 사용합니다.
이 기준표와 코드 버전을 노트에 보관하세요. 소프트웨어와 처리는 직접 선택하며, IteraGPU는 파일, 프롬프트, 연산 내용을 검사하지 않습니다. 주문 시 환경 선택은 준비에 대한 필요를 표현할 뿐이며, 모델이 이미 설치되거나 테스트되었다는 증거가 아닙니다.
실용적인 질문
24GB면 추론 모델에 충분한가요?
모델과 부하를 모르면 24GB 용량만으로는 답할 수 없습니다. 가중치, 실행 할당량, 컨텍스트, 동시 요청을 함께 확인하세요. 구성은 요구된 품질로 긴 케이스를 끝낼 수 있어야 하며, 파일 크기나 가중치 추정치만으로는 이를 입증하지 못합니다.
오프라인 코퍼스에서는 어떤 처리량을 비교해야 하나요?
먼저 동일한 코퍼스를 끝내고 평가하는 데 필요한 시간을 비교하세요. 처리량을 공개한다면 채택된 유효 출력 수, 측정 시간, 오류를 함께 제시하세요. 응답 길이나 품질 관리 없는 초당 토큰 처리량만으로는 두 구성을 가릴 수 없습니다.
메모리 초과가 발생하면 GPU를 바꿔야 하나요?
메모리 초과가 발생하면 먼저 이를 유발한 설정과 입력을 파악해야 합니다. 프로젝트 목표를 유지하면서 배치, 동시성, 길이, 정밀도를 점검할 수 있습니다. 처리 대상 문서나 기대 응답을 바꾸는 축소는 품질을 다시 검증해야 하며, 이러한 제약을 유지해야 한다면 더 많은 메모리가 필요할 수 있습니다.
제공된 노트북이 제 추론 애플리케이션을 검증해 주나요?
제공된 노트북은 애플리케이션을 검증하지 않습니다. 작은 합성 네트워크를 측정하고 메모리 카운터를 설명할 뿐입니다. 문서화된 로컬 테스트는 이 경우에만 해당합니다. 애플리케이션은 용량이나 성능을 결론짓기 전에 자체 모델, 입력, 환경, 자체 수용 기준으로 평가해야 합니다.