PETSC with MUMPS-5.1.2

PETSCのconfigureの”–with-mumps-dir”がうまく動かないので”–download-mumps=1”と”–download-mumps-commit=v5.1.1-p1″を使用してのですが、petscのフォルダ内のexternalpackagesを確認するとmumps-5.0.2でした。

PETSCのBitbucketの記事を確認すると、configureで使用されるファイルを修正する必要がありそうです。

config/BuildSystem/config/packages/MUMPS.py のなかで

class Configure(config.package.Package):
 def __init__(self, framework):
 config.package.Package.__init__(self, framework)
 self.gitcommit = 'MUMPS_5.0.2-p2.tar.gz'
 self.download = ['git://https://bitbucket.org/petsc/pkg-mumps.git',
 'http://ftp.mcs.anl.gov/pub/petsc/externalpackages/MUMPS_5.0.2-p2.tar.gz']

の部分を

class Configure(config.package.Package):
 def __init__(self, framework):
 config.package.Package.__init__(self, framework)
 self.gitcommit = 'v5.1.2-p1'
 self.download = ['git://https://bitbucket.org/petsc/pkg-mumps.git',
 'https://bitbucket.org/petsc/pkg-mumps/get/'+self.gitcommit+'.tar.gz']
 self.downloaddirnames = ['petsc-pkg-mumps']

とします。configureを実行するとConfig.log内は、

Checking for a functional MUMPS
 Looking for MUMPS at git.mumps, hg.mumps or a directory starting with ['petsc-pkg-mumps']
 Found a copy of MUMPS in petsc-pkg-mumps-968459b56e28

となっていました。externalpackagesのpetsc-pkg-mumps-968459b56e28のREADMEを確認したら

===========================================
MUMPS 5.1.2
===========================================

となっていました。並列版CodeAsterは今のところ動いています。この辺りは、build前に開発状況を確認しないといけませんね。

 

Retry: Code Aster 13.4 without PETSc on Ubuntu 16.04

Ubuntu 14.04の経験を生かして、Ubuntu 16.04での構築に再挑戦です。

参考はこちら

0.準備

apt-getを使って必要なものをインストールします。

$ sudo apt-get install gfortran g++ python-dev python-qt4 python-numpy liblapack-dev libblas-dev tcl tk zlib1g-dev bison flex checkinstall libx11-dev cmake qt4-dev-tools libmotif-dev
また、mfrontの構築のために、boostとdoxygenをインストールします。
$sudo apt-get install libboost-all-dev doxygen
今回は、openmpiの3.0.0を用意しました。
$tar xfvz openmpi-3.0.0.tar.gz
$cd ./openmpi-3.0.0
$./configure --prefix=/usr/local
$sudo make all install
このあと

~/.bashrcを開いて、ファイルの最後に次の文を付け加えます。

PATH=/usr/loca/bin:$PATH
LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
MANPATH=/usr/local/share/man:$MANPATH
export PATH LD_LIBRARY_PATH MANPATH

次に /etc/ld.so.conf.d/ を管理者権限で開いて”openmpi.conf”というファイルを作り、次の内容を記述します。

/usr/local/lib
最後に$sudo ldconfigを実行します。
1.OpenBLASのインストール
$ tar xfvz OpenBLAS-0.2.20.tar.gz
$ cd OpenBLAS-0.2.20
$ make NO_AFFINITY=1 USE_OPENMP=1
$ make PREFIX=/opt/OpenBLAS install
$ echo /opt/OpenBLAS/lib | sudo tee -a /etc/ld.so.conf.d/openblas.conf
$ sudo ldconfig

以上です。

2.Asterのインストール
CodeAsterのソースコードをダウンロードして展開したら、参考のとおりにsetup.pyを変更します。
$ cd aster-full-src-13.4.0
$ sed -i "s:PREFER_COMPILER\ =\ 'GNU':PREFER_COMPILER\ =\'GNU_without_MATH'\nMATHLIB=\ '/opt/OpenBLAS/lib/libopenblas.a':g" setup.cfg

続けて

$ python setup.py install

以上です。参考のとおりに並列計算用のホストファイルを作成しておきます。

$ echo "$HOSTNAME cpu=$(cat /proc/cpuinfo | grep processor | wc -l)" > /opt/aster/etc/codeaster/mpi_hostfile
3.ScaLAPACKのインストール
$ tar xfvz scalapack_installer.tgz
$ cd scalapack_installer
$ ./setup.py --lapacklib=/opt/OpenBLAS/lib/libopenblas.a --mpicc=mpicc --mpif90=mpif90 --mpiincdir=/usr/local/include --ldflags_c=-fopenmp --ldflags_fc=-fopenmp --prefix=/opt/scalapack
以上です。

4. parmetis

ソースコードをダウンロードして展開します。

$ tar xvf parmetis-4.0.3.tar.gz
$ cd parmetis-4.0.3
$ make config prefix=/opt/parmetis-4.0.3
$ make

完了したら、動作確認をします。

$ cd Graphs
$ mpirun -np 8 ptest rotor.graph rotor.graph.xyz

特にエラーが出なければ終了です。

5.scotch

Codeasterのソースコードに含まれているscotch-6.0.4-aster5.tar.gzを/opt下に展開します。

$ cd /opt/scotch-6.0.4/src

Makefile.incはこちら

$ make scotch esmumps
$ make ptscotch ptesmumps

完了したら、動作確認です。

$make check
$make ptcheck

問題なければ完了です。

6.Mumps

Codeasterのソースコードに含まれているmumps-5.1.1-aster2.tar.gzを/opt下に展開します。フォルダ名はmumps-5.1.1-mpiとしています。

$ cd /opt/mumps-5.1.1-mpi

Makefile.incはこちら

$ make all

終了したらexamplesに移動して動作チェックを行います。

7.Petscのインストール

petsc-3.7.7.tar.gzをダウンロードし、/opt下に展開します。まず、configです。

$ cd /opt/petsc-3.7.7
$ ./configure --configModules=PETSc.Configure --optionsModule=config.compilerOptions --with-mpi-dir=/usr/local --with-blas-lapack-lib=/opt/OpenBLAS/lib/libopenblas.a --download-hypre=yes --download-ml=yes --with-debugging=0 COPTFLAGS=-O1 CXXOPTFLAGS=-O1 FOPTFLAGS=-O1 --with-x=0 --with-shared-libraries=0 --download-mumps=yes --with-scalapack-dir=/opt/scalapack --with-ptscotch-dir=/opt/scotch-6.0.4 --with-parmetis-dir=/opt/parmetis-4.0.3 --with-metis-dir=/opt/aster/public/metis-5.1.0 --download-mumps-commit=v5.1.1-p3 --with-ssl=0

そしてmakeです。

make PETSC_DIR=/opt/petsc-3.7.7 PETSC_ARCH=arch-linux2-c-opt all

次に動作確認です。

make PETSC_DIR=/opt/petsc-3.7.7 PETSC_ARCH=arch-linux2-c-opt test
make PETSC_DIR=/opt/petsc-3.7.7 PETSC_ARCH=arch-linux2-c-opt streams

以上です。

8.wafを使って並列版Code Asterの構築

/opt/aster/etc/codeaster/asrunをテキストエディタで開いて、mpi_get_procid_cmdの部分を書き換えます。
mpi_get_procid_cmd : echo $OMPI_COMM_WORLD_RANK
そしてmpirunの部分を次のように書き換えます。
mpirun_cmd : mpirun -np %(mpi_nbcpu)s %(program)s

参考のとおりにCode_Asterのソースファイルを解凍し移動します。

Ubuntu_gnu.pyはこちら hdf5のembedを止めています。

Ubuntu_gnu_mpi.pyはこちら

$ export ASTER_ROOT=/opt/aster
$ ./waf configure --use-config-dir=$ASTER_ROOT/13.4/share/aster --use-config=Ubuntu_gnu_mpi --prefix=$ASTER_ROOT/PAR13.4PE
$ ./waf build -p
$ ./waf install

Warningがいっぱいでますが、構築はできました。

最後に、/opt/aster/etc/codeaster/asterを開いて、 vers : PAR13.4:/opt/aster/PAR13.4PE/share/aster を追加します。

ASTKから並列版の実行時ですが、ここでも紹介しましたがcommの中身の修正が必要でした。

以上です。

 

 

Code Aster 13.4 on Ubuntu 14.04

Ubuntu 16.04でParallel版のCode Aster 13.4の構築がうまくいかないので、基本にもどって、Ubuntu 14.04上で構築しました。

参考にしたのは、こちら

0.準備

Cmake 3.0以降への更新:mfrontの構築のために行います。

$sudo apt-get install software-properties-common
$sudo add-apt-repository ppa:george-edison55/cmake-3.x
$sudo apt-get update
$sudo apt-get install cmake

gccとg++を4.9以降へ:Salome-meca2017をインストールするために行います。

$sudo add-apt-repository ppa:ubuntu-toolchain-r/test
$sudo apt-get update
$sudo apt-get install gcc-4.9 g++-4.9

そして

$sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.8 10
$sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-4.9 20

$sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-4.8 10
$sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-4.9 20

$sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-4.8 10
$sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-4.9 20

$sudo rm /usr/bin/cpp
$sudo update-alternatives --install /usr/bin/cpp cpp /usr/bin/cpp-4.8 10
$sudo update-alternatives --install /usr/bin/cpp cpp /usr/bin/cpp-4.9 20

$sudo update-alternatives --install /usr/bin/cc cc /usr/bin/gcc 30
$sudo update-alternatives --set cc /usr/bin/gcc

$sudo update-alternatives --install /usr/bin/c++ c++ /usr/bin/g++ 30
$sudo update-alternatives --set c++ /usr/bin/g++

ついでにgfortranも4.9にしておきました。

$sudo apt-get install gfortran-4.9
$ln -s /usr/bin/gfortran-4.9 /usr/bin/gfortran
$echo "alias gfortran=gfortran-4.9" >> ~/.bashrc

 

1.通常版のCodeAsterのBuild

OpenBLASを組み込んだ通常版のCodeAsterをbuildします。

(1)OpenBLASとScalapackの構築

参考のとおりです。

OpenBLASを適当な場所に展開します。

$ cd OpenBLAS-0.2.18
$ make NO_AFFINITY=1 USE_OPENMP=1
$ make PREFIX=/opt/OpenBLAS install
$ echo /opt/OpenBLAS/lib | sudo tee -a /etc/ld.so.conf.d/openblas.conf
$ sudo ldconfig

 ScaLAPACKを適当な場所に展開します

$ cd scalapack_installer_1.0.2
$ ./setup.py --lapacklib=/opt/OpenBLAS/lib/libopenblas.a --mpicc=mpicc --mpif90=mpif90 --mpiincdir=/usr/lib/openmpi/include --ldflags_c=-fopenmp --ldflags_fc=-fopenmp --prefix=/opt/scalapack

(2) Mumps-5.1.1の構築

setup.pyを使ったインストールではMumps-5.1.1でエラーが発生したので、Mumpsは別途buildしました。

/opt/aster/publicの下にmumps-5.1.1を展開します

$cd mumps-5.1.1
$make all

Makefile.incは次のとおり

(3)setup.pyの変更

$ cd aster-full-src-13.4.0/
$ sed -i "s:PREFER_COMPILER\ =\ 'GNU':PREFER_COMPILER\ =\'GNU_without_MATH'\nMATHLIB=\ '/opt/OpenBLAS/lib/libopenblas.a':g" setup.cfg
$ python setup.py install

(4) setup.pyの実行

Mumpsは既に作成済なので、再buildの問いに対しては”n”とします。

2.並列版CodeAsterのBuild

(1)Parmetisのbuild

parmetis-4.0.3を適当な場所に展開します。そして

$cd parmetis-4.0.3
$make config prefix=/opt/parmetis-4.0.3
$make
$make install

動作確認は

$cd Graphs
$mpirun -np 8 ptest rotor.graph rotor.graph.xyz
$mpirun -np 32 ptest rotor.graph rotor.graph.xyz

を実行します。

(2)scotchのbuild

/optの下にscotch-6.0.4を展開します。

$cd /opt/scotch-6.0.4/src
$make scotch esmumps
$make ptscotch ptesmumps

Makefile.incは次のとおり

(3)Mumpsのbuild

/optの下にmumps-5.1.1を展開します。そしてフォルダ名はmumps-5.1.1-mpiに変更します。

フォルダ内に移動します。

$cd mumps-5.1.1-mpi

Makefile.incはつぎのとおり.

そして

 $make all

(4)wafの実行

Ubuntu_gnu.pyはこちら(Download後にファイル名をUbuntu_gnu.pyに変更してください)

Ubuntu_gnu_mpi.pyはこちら(Download後にファイル名をUbuntu_gnu_mpi.pyに変更してください)

それを、CodeAsterのソースコードがあるフォルダーに置きます。

$cd aster-full-src-13.4.0/SRC/aster-13.4.0
$ export ASTER_ROOT=/opt/aster
$./waf configure --use-config-dir=$ASTER_ROOT/13.4/share/aster --use-config=Ubuntu_gnu_mpi --prefix=$ASTER_ROOT/PAR13.4
$./waf build -p

以上で、petscなしのCodeAsterが/opt/aster/PAR13.4に置かれます。/opt/aster/etc/codeaster/asterにPAR13.4を追加します。

3. Commについて

ASTKを起動してPAR13.4で計算するとき、nbcpu>1でmpi_nbcpu=1は実行できたのですが、nbcpu≥1でmpi_nbcpu>1ではエラーが出ます。これについて、CodeAster Forumで対策が掲示されていました。

テキストエディタ―で、AFFE_MODELEの一部分を変更します。(messファイルを参照するとわかりやすいと思います。なぜか、Eficasでこの部分の編集が行えませんでした。)

AFFE_MODELE(MAILLAGE=meshinit,
 AFFE=_F(PHENOMENE='MECANIQUE',
 TOUT='OUI',
 MODELISATION=('3D', ),),
 INFO=1,
 VERI_JACOBIEN='OUI',
 DISTRIBUTION=_F(PARTITIONNEUR='METIS',
 METHODE='SOUS_DOMAINE',),
 );

AFFE_MODELE(MAILLAGE=meshinit,
 AFFE=_F(PHENOMENE='MECANIQUE',
 TOUT='OUI',
 MODELISATION=('3D', ),),
 INFO=1,
 VERI_JACOBIEN='OUI',
 DISTRIBUTION=_F(PARTITIONNEUR='SCOTCH',
 METHODE='SOUS_DOMAINE',),
 );

同じcommを使って、他の並列版ではないCodeAsterで計算する場合は、DISTRIBUTIONのところはコメントアウトしておきます。

次に、PETScの追加です。

5.PETSCの追加

(1)PETSCのbuild

$ cp ~/Install_Files/petsc-3.7.6.tar.gz /opt
$ cd /opt
$ tar xfvz petsc-3.7.6.tar.gz
$ cd petsc-3.7.6

そして、configureです。

$  ./config/configure.py --with-openmpi-dir=/usr/lib/openmpi --with-blas-lapack-lib=/opt/OpenBLAS/lib/libopenblas.a --download-hypre=yes --download-ml=yes --with-debugging=0 COPTFLAGS=-O1 CXXOPTFLAGS=-O1 FOPTFLAGS=-O1 --configModules=PETSc.Configure --optionsModule=PETSc.compilerOptions --with-x=0 --with-shared-libraries=0 --download-mumps=yes --with-scalapack-dir=/opt/scalapack --with-ptscotch-dir=/opt/scotch-6.0.4 --with-parmetis-dir=/opt/parmetis-4.0.3 --with-metis-dir=/opt/aster/public/metis-5.1.0 --download-mumps-commit=v5.1.1-p1 --with-ssl=0

そして

$ make PETSC_DIR=/opt/petsc-3.4.5 PETSC_ARCH=arch-linux2-c-opt all
$ make PETSC_DIR=/opt/petsc-3.4.5 PETSC_ARCH=arch-linux2-c-opt test

として構築と確認を行います。

(2)CodeAsterのbuild

Ubuntu_gnu_mpi.pyをこちら(Download後にファイル名をUbuntu_gnu_mpi.pyに変更してください)

それを、CodeAsterのソースコードがあるフォルダーに置きます。

$cd aster-full-src-13.4.0/SRC/aster-13.4.0
$ export ASTER_ROOT=/opt/aster
$./waf configure --use-config-dir=$ASTER_ROOT/13.4/share/aster --use-config=Ubuntu_gnu_mpi --prefix=$ASTER_ROOT/PAR13.4PE
$./waf build -p

以上で、petscなしのCodeAsterが/opt/aster/PAR13.4PEに置かれます。/opt/aster/etc/codeaster/asterにPAR13.4PEを追加します。

以上です。