<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof ContentPasted0">
As the compiler is compiling a _tmp file, you are most likely using cpp or some external preprocessor.<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
You should check that the preprocessing is done by the nvfortran compiler with the -acc option passed.
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
Otherwise,  you can try adding by hand the -D_OPENACC to the DFLAGS on MANUAL_DFLAGS variables in the "make.inc"  file</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
hope it helps <br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">
Pietro<br>
</div>
<div id="appendonsend"></div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>Da:</b> users <users-bounces@lists.quantum-espresso.org> per conto di Siwakorn Sukharom <siwakorn.suk@ncr.nstda.or.th><br>
<b>Inviato:</b> martedě 23 maggio 2023 06:47<br>
<b>A:</b> users@lists.quantum-espresso.org <users@lists.quantum-espresso.org><br>
<b>Oggetto:</b> [QE-users] [QE-GPU] compilation issue : NVFORTRAN-F-1225-Unmatched directive</font>
<div> </div>
</div>
<style type="text/css" style="display:none">
<!--
p
        {margin-top:0;
        margin-bottom:0}
-->
</style>
<div dir="ltr">
<div id="x_divtagdefaultwrapper" dir="ltr" style="font-size:12pt; color:rgb(0,0,0); font-family:Calibri,Helvetica,sans-serif,EmojiFont,"Apple Color Emoji","Segoe UI Emoji",NotoColorEmoji,"Segoe UI Symbol","Android Emoji",EmojiSymbols">
<p>I try to compile QE for gpu. My HPC system is <span>AMD EPYC™ 7713 + <span>Nvidia A100, and it is based on Cray programming environment. For compilation, i used <span>nvhpc/22.7 + <span>cray-mpich + <span>cray-fftw</span></span></span></span></span></p>
<p><span><span><br>
</span></span></p>
<p><span><span>For configure i use this and edit in make.inc later</span></span></p>
<p><span><span></p>
<div><i>./configure --enable-parallel --with-scalapack=no \</i></div>
<div><i>CC=cc CXX=CC FC=ftn F77=ftn F90=ftn MPICC=cc MPICXX=CC MPIF77=ftn MPIF90=ftn \</i></div>
<div><i>FFT_LIBS="-L$FFTW_ROOT/lib -lfftw3" \</i></div>
<div><i>--with-cuda=/opt/nvidia/hpc_sdk/Linux_x86_64/22.7/cuda --with-cuda-cc=80 --with-cuda-runtime=11.7 --enable-openmp \</i></div>
<br>
</span></span>
<p></p>
<p><span><span>Here is my make.inc</span></span></p>
<p><span><span><a href="https://drive.google.com/file/d/1HfVtuRXsburug_Ks6wcsSDwrA6m0QHaH/view?usp=sharing" class="x_OWAAutoLink">https://drive.google.com/file/d/1HfVtuRXsburug_Ks6wcsSDwrA6m0QHaH/view?usp=sharing</a><br>
</span></span></p>
<p><span><br>
</span></p>
<p>The error when I compiled is </p>
<p><br>
</p>
<p></p>
<div><i>ftn -O1   -D__FFTW3 -D__CUDA -D__MPI  -cuda -gpu=cc80,cuda11.7 -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//external/devxlib/src -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//external/devxlib/include -acc -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//external/devxlib/src
 -I. -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//include -I/opt/cray/pe/fftw/3.3.10.3/x86_milan/include -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//upflib -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//XClib
 -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//Modules -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//FFTXlib/src -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//LAXlib -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//UtilXlib
 -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//MBD -I/lustrefs/disk/project/thaisc/siwakorn/QE/install/qe-7.2_gpu//KS_Solvers  -I../../dft-d3/ -c drhoc_tmp.f90 -o drhoc.o</i></div>
<div><i>NVFORTRAN-F-1225-Unmatched directive END - DATA. (drhoc_tmp.f90: 90)</i></div>
<div><i>NVFORTRAN/x86-64 Linux 22.7-0: compilation aborted</i></div>
<div><i>make[2]: *** [../../make.inc:16: drhoc.o] Error 2</i></div>
<div><i>make[2]: *** Waiting for unfinished jobs....</i></div>
<div><br>
</div>
any suggestion? 
<p></p>
<p><span><span><br>
</span></span></p>
<p><span><br>
</span></p>
<p><br>
</p>
</div>
<br>
<hr>
<font color="Gray" size="1"><br>
Disclaimer:<br>
<br>
This e-mail and any files transmitted with it may contain confidential and proprietary information of the National Science and Technology Development Agency (NSTDA), Thailand. They are intended solely for the use of the addressed individuals or entities. If
 you are not the intended recipient, you are required to immediately delete this e-mail and its contents from your system. Any disclosure, distribution, or action based upon the contents of this e-mail is strictly prohibited. Any views or opinions presented
 in this e-mail are solely those of the sender and do not necessarily represent those of NSTDA. NSTDA does not accept any responsibility for the content of this message or the consequences of any actions taken on the basis of the information provided. NSTDA
 accepts no liability for any damage caused by any virus or malware which may be inserted in this e-mail during transmission.
<br>
</font></div>
</body>
</html>