[opt]add cudnn&VisionEmbedding micro.

Author: Liheng Jian

src/ppl/nn/engines/llm_cuda/kernels/opmx/vision_embedding_kernel.cc

@@ -17,18 +17,20 @@
 
 #include "vision_embedding_kernel.h"
 
-#include "ppl/common/cuda/nccl_utils.h"
 #include "ppl/common/destructor.h"
 
 #include "ppl/kernel/llm/cuda/pmx/vision_embedding.h"
 
+#ifdef PPLNN_CUDA_ENABLE_CUDNN
 #include <cudnn.h>
+#endif
 
 namespace ppl { namespace nn { namespace llm { namespace cuda { namespace opmx {
 
 ppl::common::RetCode VisionEmbeddingKernel::DoExecute(KernelExecContext* ctx) {
     PPLNN_LLM_CUDA_DEBUG_TRACE("Entry LlmCudaKernel: [%s]\n", GetName().c_str());
 
+#ifdef PPLNN_CUDA_ENABLE_CUDNN
     PPLNN_LLM_CUDA_REQUIRED_INPUT(pixel_values, 0);
     PPLNN_LLM_CUDA_REQUIRED_INPUT(cls_emb_weight, 1);
     PPLNN_LLM_CUDA_OPTIONAL_INPUT(patch_emb_weight, 2);
@@ -100,6 +102,10 @@ ppl::common::RetCode VisionEmbeddingKernel::DoExecute(KernelExecContext* ctx) {
     ppl::kernel::llm::cuda::pmx::vision_embedding_postprocessing(config);
 
     return ppl::common::RC_SUCCESS;
+#else
+    LOG(ERROR) << "VisionEmbedding need cudnn, please recompile with PPLNN_CUDA_ENABLE_CUDNN=ON";
+    return ppl::common::RC_UNSUPPORTED;
+#endif
 }
 
 }}}}} // namespace ppl::nn::llm::cuda::opmx

src/ppl/nn/engines/llm_cuda/llm_cuda_device.cc

@@ -49,9 +49,11 @@ LlmCudaDevice::~LlmCudaDevice() {
         cudaFree(cublas_workspace_);
     }
 
+#ifdef PPLNN_CUDA_ENABLE_CUDNN
     if (cudnn_handle_) {
         cudnnDestroy(cudnn_handle_);
     }
+#endif
 
     if (i4f16_gemm_handle_) {
         ppl::kernel::llm::cuda::pmx::i4f16::destory_gemm_handle(i4f16_gemm_handle_);
@@ -98,13 +100,15 @@ RetCode LlmCudaDevice::Init(int device_id, bool init_cublas_cudnn, NcclParam* te
         cublas_workspace_size_ = 32 * 1024 * 1024;
     }
 
+#ifdef PPLNN_CUDA_ENABLE_CUDNN
     if (!cudnn_handle_ && init_cublas_cudnn) {
         auto cu_status = cudnnCreate(&cudnn_handle_);
         if (cu_status != CUDNN_STATUS_SUCCESS) {
             LOG(ERROR) << "cudnnCreate failed: " << cudnnGetErrorString(cu_status);
             return RC_INTERNAL_ERROR;
         }
     }
+#endif
 
     if (!stream_) {
         if (flag == NEW) {

src/ppl/nn/engines/llm_cuda/llm_cuda_device.h

@@ -26,7 +26,12 @@
 
 #include <cuda_runtime.h>
 #include <cublasLt.h>
+
+#ifdef PPLNN_CUDA_ENABLE_CUDNN
 #include <cudnn.h>
+#else
+typedef void* cudnnHandle_t;
+#endif
 
 #include <functional>