Puedes borrarlo y no necesitas guardarlo en pendrive. El propio móvil te da la opción de descargarlo cuando quieras o lo necesites.

Ajustes - Sobre el teléfono - Actualización del Sistema - Tres puntos del ángulo superior derecho - Descargar el último paquete