Producir embeddings que sigan siendo comparables
Una campaña de embeddings debe fijar el modelo, la tokenización, la regla de truncado, el pooling y la normalización. Estas decisiones modifican las representaciones obtenidas. Para textos de longitud variable, pruebe lotes agrupados por longitud y compárelos con su organización inicial. Registre el número de documentos procesados y los tokens útiles, para que un cambio en el llenado de los lotes no parezca una mejora inexplicable.
Repartir los 48 GB entre modelo y trabajo útil
Aumente el batch en una muestra que contenga los textos más largos o las imágenes más grandes. Una medición sobre la media puede dejar pasar una saturación tardía en medio del corpus. Exporte las representaciones a medida que procesa en lugar de acumular innecesariamente todos los resultados en la GPU. Conserve un identificador estable, por ejemplo, para enlazar cada salida con su entrada y reanudar una campaña interrumpida.
Para la adaptación, aplique la misma disciplina con los checkpoints: modelo base, parámetros entrenados y datos deben permanecer asociados. La capacidad de 48 GB no exime de medir las activaciones y los estados del optimizador.
Ampere o Ada con la misma capacidad
La RTX A6000 y la RTX 6000 Ada son dos modelos diferentes a pesar de sus 48 GB. Verifique los kernels CUDA objetivo y las versiones de PyTorch de su proyecto antes de comparar. Una prueba corta puede decidir el coste del corpus completo, con las mismas salidas esperadas. La A40 es otra opción Ampere de 48 GB; la A100 SXM resulta pertinente cuando la memoria requerida supera ese margen.
Pedir con un plan de reanudación
Tres días pueden cubrir el perfilado y un primer lote de embeddings. Siete días permiten producir y luego controlar un corpus. Treinta días acompañan varias versiones de representación o una campaña de adaptación. Prepare los identificadores, los directorios de exportación y la lista de lotes antes del alquiler. Seleccione duración y cantidad, indique el entorno deseado y sus datos de contacto, y luego consulte el pago en cripto y el avance en el pedido.