Merge branch 'develop_v2.5'

transformer_engine/common/gemm/rocm_gemm.cu

@@ -1603,6 +1603,8 @@ void hipblaslt_goupedgemm(std::vector<const Tensor*>& inputA, std::vector<const
       return;
   }
 
+  // Make sure to initialize everytime the algo changes
+  NVTE_CHECK_HIPBLASLT(groupedgemm.initialize(heuristicResult[0].algo, workspace));
   // Get the default values from the grouepdgemm object
   groupedgemm.getDefaultValueForDeviceUserArguments(userArgs);
   // Copy them to device memory
@@ -1612,9 +1614,6 @@ void hipblaslt_goupedgemm(std::vector<const Tensor*>& inputA, std::vector<const
                             userArgs,
                             m.size() * sizeof(hipblaslt_ext::UserArguments),
                             hipMemcpyHostToDevice, stream));
-
-  // Make sure to initialize everytime the algo changes
-  NVTE_CHECK_HIPBLASLT(groupedgemm.initialize(heuristicResult[0].algo, workspace));
   NVTE_CHECK_HIPBLASLT(groupedgemm.run(d_userArgs, stream));
   // NVTE_CHECK_HIPBLASLT(groupedgemm.initialize(heuristicResult[0].algo, workspace, false, stream));
   // NVTE_CHECK_HIPBLASLT(groupedgemm.run(stream));