Conda

Using Conda on Theta

Conda is a popular package and virtual environment management framework that is used for managing python packages. ALCF has installed this framework, with some default package that users can use for simulation, analysis, and machine learning on Theta.

 

Getting Started

Adding Conda to your environment

module load miniconda-3.6/conda-4.5.4
or
module load miniconda-3.6/conda-4.5.12

This will load conda version 4.5.4 or 4.5.12 with Python 3.6. The installed modules are listed at the bottom of this page:

Users can also use

module load miniconda-2.7/conda-4.5.4

which will provide Python 2.7.

If all the python packages you need are installed, then you can use this module as is. However, if you need custom modules installed, have a look at the section below about Installing Custom Python Modules.

We also have versions available for testing on the login-nodes of Theta, but be aware you should not run large MPI tests on the login nodes as they are a shared resource.

Probing the environment

Full Conda documentation can be found here, but we'll cover a few useful things here. After the module is loaded, one can list the python modules installed and their versions using

conda list

Installing Custom Python Modules

In order to add custom python modules to the conda environment, one must create a custom conda environment. This can be done using (example for python 3.6 conda):

conda create -p </path/to/new/env> --clone $MINICONDA_INSTALL_PATH

This creates a custom environment in the path you specify and installs everything that existed in the base conda installation. 

Next you can move into this custom environment with

source activate </path/to/new/env>

Now you can install your own packages on top of the base installation using

conda install <python-module>

These modules will be installed in /path/to/new/env/lib.

We recently noticed that after the source activate the custom environment path is placed last in order of searching for python modules. This means if the user pip-installs or conda-installs a different version of a package the original from the $MINICONDA_INSTALL_PATH area will still be chosen. Therefore, after the source activate, one should do

export PYTHONPATH=/path/to/new/env/lib/pythonX/site-packages:$PYTHONPATH

Installed Modules:

miniconda-3.6/conda-4.5.12

# Name                    Version                   Build  Channel
absl-py                   0.7.0                    py27_0
asn1crypto                0.24.0                   py27_0
astor                     0.7.1                    py27_0
backports                 1.0                      py27_9    intel
backports.weakref         1.0.post1                py27_0
c-ares                    1.15.0               h7b6447c_1
ca-certificates           2018.12.5                     0
certifi                   2018.1.18                py27_2    intel
cffi                      1.11.5           py27he75722e_1
chardet                   3.0.4                    py27_1
conda                     4.5.12                   py27_0
conda-env                 2.6.0                         1
cryptography              2.3                      py27_0    intel
enum34                    1.1.6                    py27_1
freetype                  2.9.1                h8a8886c_1
funcsigs                  1.0.2                    py27_7    intel
futures                   3.2.0                    py27_0
gast                      0.2.2                    py27_0
grpcio                    1.14.1           py27h9ba97e2_0
h5py                      2.8.0            py27h989c5e5_3
hdf5                      1.10.2                        2    intel
horovod                   0.15.2                    <pip>
icc_rt                    2019.1                intel_144    intel
idna                      2.8                      py27_0
impi_rt                   2019.1                intel_144    intel
intel-openmp              2019.1                intel_144    intel
intelpython               2019.1                        0    intel
ipaddress                 1.0.22                   py27_0
jpeg                      9b                   h024ee3a_2
keras                     2.2.4                         0
keras-applications        1.0.6                    py27_0
keras-base                2.2.4                    py27_0
keras-preprocessing       1.0.5                    py27_0
libedit                   3.1.20170329         h6b74fdf_2
libffi                    3.2.1                hd88cf55_4
libgcc-ng                 8.2.0                hdf63c60_0
libpng                    1.6.35                        0    intel
libprotobuf               3.6.1                hd408876_0
libstdcxx-ng              8.2.0                hdf63c60_1
libtiff                   4.0.9                he85c1e1_1
linecache2                1.0.0                    py27_0
markdown                  3.0.1                    py27_0
mkl                       2019.1                intel_144    intel
mkl_fft                   1.0.6                    py27_2    intel
mkl_random                1.0.2                    py27_0    intel
mock                      2.0.0                    py27_0
mpi4py                    3.0.0                    py27_3    intel
ncurses                   6.1                  he6710b0_1
ninja                     1.8.2            py27h6bb024c_1
numpy                     1.15.4                   py27_2    intel
numpy-base                1.15.4                   py27_2    intel
olefile                   0.46                     py27_0
openssl                   1.0.2p                        0    intel
pbr                       5.1.1                    py27_0
pillow                    5.4.1            py27h34e0f95_0
pip                       18.1                     py27_0
protobuf                  3.6.1            py27he6710b0_0
pycosat                   0.6.3            py27h14c3975_0
pycparser                 2.19                     py27_0
pyopenssl                 18.0.0                   py27_0
pysocks                   1.6.8                    py27_0
python                    2.7.15               h77bded6_2
pytorch-cpu               1.0.0               py2.7_cpu_1    pytorch
pyyaml                    4.1                      py27_2    intel
readline                  7.0                  h7b6447c_5
requests                  2.21.0                   py27_0
ruamel_yaml               0.15.46          py27h14c3975_0
scipy                     1.1.0               np115py27_7    intel
setuptools                39.0.1                   py27_0    intel
six                       1.12.0                   py27_0
sqlite                    3.26.0               h7b6447c_0
tbb                       2019.3                  intel_0    intel
tbb4py                    2019.3             py27_intel_0    intel
tensorboard               1.12.2           py27he6710b0_0
tensorflow                1.12.0                   py27_0    intel
termcolor                 1.1.0                    py27_1
tk                        8.6.8                hbc83047_0
torchvision-cpu           0.2.1                      py_2    pytorch
traceback2                1.4.0                    py27_0
unittest2                 1.1.0                    py27_0
urllib3                   1.24.1                   py27_0
werkzeug                  0.14.1                   py27_0    intel
wheel                     0.32.3                   py27_0
xz                        5.2.3                         2    intel
yaml                      0.1.7                had09818_2
zlib                      1.2.11               h7b6447c_3

miniconda-3.6/conda-4.5.4

# Name                    Version                   Build  Channel
absl-py                   0.3.0                    py36_0
asn1crypto                0.24.0             py36_intel_1  [intel]  intel
astor                     0.7.1                    py36_0
backports                 1.0                py36_intel_6  [intel]  intel
backports.weakref         1.0.post1                py36_0
bleach                    1.5.0                     <pip>
bzip2                     1.0.6                  intel_14  [intel]  intel
ca-certificates           2018.03.07                    0
certifi                   2018.1.18          py36_intel_0  [intel]  intel
cffi                      1.11.5             py36_intel_1  [intel]  intel
chardet                   3.0.4              py36_intel_0  [intel]  intel
conda                     4.5.9                    py36_0
conda-env                 2.6.0                h36134e3_1
cryptography              2.2.2              py36_intel_1  [intel]  intel
cycler                    0.10.0             py36_intel_5  [intel]  intel
daal                      2018.0.3.20180405               0    intel
freetype                  2.9                     intel_1  [intel]  intel
funcsigs                  1.0.2                    py36_0
gast                      0.2.0                    py36_0
gflags                    2.2.1                   intel_0  [intel]  intel
glog                      0.3.5                   intel_0  [intel]  intel
grpcio                    1.12.1           py36hdbcaa40_0
h5py                      2.7.1           np114py36_intel_0  [intel]  intel
hdf5                      1.10.1                  intel_0  [intel]  intel
horovod                   0.13.11                   <pip>
html5lib                  0.9999999                 <pip>
icc_rt                    2018.0.3                intel_0  [intel]  intel
idna                      2.6                py36_intel_0  [intel]  intel
impi_rt                   2018.0.3                intel_0  [intel]  intel
intelpython               2018.0.3                      0    intel
jpeg                      9c                      intel_0  [intel]  intel
Keras                     2.2.2                     <pip>
Keras-Applications        1.0.4                     <pip>
Keras-Preprocessing       1.0.2                     <pip>
kiwisolver                1.0.1                    py36_1    intel
libedit                   3.1.20170329         h6b74fdf_2
libffi                    3.2.1                   intel_8  [intel]  intel
libgcc-ng                 7.2.0                hdf63c60_3
libpng                    1.6.34                  intel_1  [intel]  intel
libstdcxx-ng              7.2.0                hdf63c60_3
libtiff                   4.0.9                   intel_2  [intel]  intel
markdown                  2.6.11                   py36_0
matplotlib                2.2.2           np114py36_intel_1  [intel]  intel
mkl                       2018.0.3                intel_1    intel
mkl-dnn                   0.13                    intel_3  [intel]  intel
mkl_fft                   1.0.2           np114py36_intel_0  [intel]  intel
mkl_random                1.0.1           np114py36_intel_0  [intel]  intel
mock                      2.0.0              py36_intel_4  [intel]  intel
mpi4py                    3.0.0              py36_intel_0  [intel]  intel
ncurses                   6.1                  hf484d3e_0
ninja                     1.8.2            py36h6bb024c_1
numexpr                   2.6.4           np114py36_intel_0  [intel]  intel
numpy                     1.14.3             py36_intel_0  [intel]  intel
olefile                   0.44               py36_intel_0  [intel]  intel
openmp                    2018.0.3                intel_0    intel
openssl                   1.0.2o                  intel_0  [intel]  intel
pandas                    0.22.0          np114py36_intel_4  [intel]  intel
pbr                       1.10.0             py36_intel_4  [intel]  intel
pillow                    5.1.0              py36_intel_2  [intel]  intel
pip                       9.0.1              py36_intel_0  [intel]  intel
protobuf                  3.5.2              py36_intel_0  [intel]  intel
pycosat                   0.6.3            py36h0a5515d_0
pycparser                 2.18               py36_intel_0  [intel]  intel
pydaal                    2018.0.3.20180405 np114py36_intel_0  [intel]  intel
pyopenssl                 17.5.0             py36_intel_0  [intel]  intel
pyparsing                 2.2.0              py36_intel_0  [intel]  intel
pysocks                   1.6.7              py36_intel_0  [intel]  intel
python                    3.6.3                  intel_12  [intel]  intel
python-dateutil           2.6.0              py36_intel_3  [intel]  intel
pytorch-cpu               0.4.1                py36_cpu_1    pytorch
pytz                      2018.4             py36_intel_0  [intel]  intel
PyYAML                    3.13                      <pip>
readline                  7.0                  ha6073c6_4
requests                  2.18.4             py36_intel_0  [intel]  intel
ruamel_yaml               0.15.37          py36h14c3975_2
scikit-learn              0.19.1          np114py36_intel_29  [intel]  intel
scipy                     1.0.1           np114py36_intel_3  [intel]  intel
setuptools                39.2.0                   py36_0
six                       1.10.0             py36_intel_8  [intel]  intel
sqlite                    3.23.1                  intel_0  [intel]  intel
tbb                       2018.0.1           py36_intel_4  [intel]  intel
tcl                       8.6.4                  intel_19  [intel]  intel
tensorboard               1.6.0                     <pip>
tensorflow                1.6.0                     <pip>
termcolor                 1.1.0                    py36_1
tk                        8.6.4                  intel_26  [intel]  intel
torchvision-cpu           0.2.1                    py36_1    pytorch
urllib3                   1.22               py36_intel_0  [intel]  intel
virtualenv                16.0.0                   py36_0
werkzeug                  0.14.1                   py36_0    intel
wheel                     0.31.0             py36_intel_0  [intel]  intel
xz                        5.2.3                   intel_0  [intel]  intel
yaml                      0.1.7                   intel_0  [intel]  intel
zlib                      1.2.11                  intel_3  [intel]  intel

miniconda-2.7/conda-4.5.4

 

# Name                    Version                   Build  Channel
absl-py                   0.3.0                    py27_0
asn1crypto                0.24.0             py27_intel_1  [intel]  intel
astor                     0.7.1                    py27_0
backports                 1.0                py27_intel_6  [intel]  intel
backports.functools_lru_cache 1.5                py27_intel_1  [intel]  intel
backports.weakref         1.0.post1                py27_0
bleach                    1.5.0                     <pip>
bzip2                     1.0.6                  intel_14  [intel]  intel
ca-certificates           2018.03.07                    0
cairo                     1.14.12                 intel_1  [intel]  intel
certifi                   2018.1.18          py27_intel_0  [intel]  intel
cffi                      1.11.5             py27_intel_1  [intel]  intel
chardet                   3.0.4              py27_intel_0  [intel]  intel
conda                     4.5.9                    py27_0
conda-env                 2.6.0                h36134e3_1
cryptography              2.2.2              py27_intel_1  [intel]  intel
cycler                    0.10.0             py27_intel_5  [intel]  intel
daal                      2018.0.3.20180405               0    intel
enum34                    1.1.6              py27_intel_5  [intel]  intel
fontconfig                2.13.0                  intel_1  [intel]  intel
freetype                  2.9                     intel_1  [intel]  intel
funcsigs                  1.0.2              py27_intel_5  [intel]  intel
functools32               3.2.3.2            py27_intel_5  [intel]  intel
futures                   3.2.0              py27_intel_0  [intel]  intel
gast                      0.2.0                    py27_0
gflags                    2.2.1                   intel_0  [intel]  intel
glog                      0.3.5                   intel_0  [intel]  intel
grpcio                    1.12.1           py27hdbcaa40_0
h5py                      2.7.1           np114py27_intel_0  [intel]  intel
hdf5                      1.10.1                  intel_0  [intel]  intel
horovod                   0.13.11                   <pip>
html5lib                  0.9999999                 <pip>
icc_rt                    2018.0.3                intel_0  [intel]  intel
idna                      2.6                py27_intel_0  [intel]  intel
impi_rt                   2018.0.3                intel_0  [intel]  intel
intelpython               2018.0.3                      0    intel
ipaddress                 1.0.22             py27_intel_0  [intel]  intel
jpeg                      9c                      intel_0  [intel]  intel
Keras                     2.2.2                     <pip>
Keras-Applications        1.0.4                     <pip>
Keras-Preprocessing       1.0.2                     <pip>
kiwisolver                1.0.1                    py27_1    intel
libedit                   3.1.20170329         h6b74fdf_2
libffi                    3.2.1                   intel_8  [intel]  intel
libgcc-ng                 7.2.0                hdf63c60_3
libpng                    1.6.34                  intel_1  [intel]  intel
libstdcxx-ng              7.2.0                hdf63c60_3
libtiff                   4.0.9                   intel_2  [intel]  intel
libuuid                   1.0.3                   intel_2  [intel]  intel
libxml2                   2.9.5                   intel_0  [intel]  intel
markdown                  2.6.11                   py27_0
matplotlib                2.2.2           np114py27_intel_1  [intel]  intel
mkl                       2018.0.3                intel_1    intel
mkl-dnn                   0.13                    intel_3  [intel]  intel
mkl_fft                   1.0.2           np114py27_intel_0  [intel]  intel
mkl_random                1.0.1           np114py27_intel_0  [intel]  intel
mock                      2.0.0              py27_intel_4  [intel]  intel
mpi4py                    3.0.0              py27_intel_0  [intel]  intel
ncurses                   6.1                  hf484d3e_0
ninja                     1.8.2            py27h6bb024c_1
numexpr                   2.6.4           np114py27_intel_0  [intel]  intel
numpy                     1.14.3             py27_intel_0  [intel]  intel
olefile                   0.44               py27_intel_0  [intel]  intel
openmp                    2018.0.3                intel_0    intel
openssl                   1.0.2o                  intel_0  [intel]  intel
pandas                    0.22.0          np114py27_intel_4  [intel]  intel
pbr                       4.0.2              py27_intel_0  [intel]  intel
pillow                    5.1.0              py27_intel_2  [intel]  intel
pip                       9.0.1              py27_intel_0  [intel]  intel
pixman                    0.34.0                  intel_0  [intel]  intel
protobuf                  3.5.2              py27_intel_0  [intel]  intel
pycairo                   1.13.3             py27_intel_0  [intel]  intel
pycosat                   0.6.3            py27ha4109ae_0
pycparser                 2.18               py27_intel_0  [intel]  intel
pydaal                    2018.0.3.20180405 np114py27_intel_0  [intel]  intel
pyopenssl                 17.5.0             py27_intel_0  [intel]  intel
pyparsing                 2.2.0              py27_intel_0  [intel]  intel
pysocks                   1.6.7              py27_intel_0  [intel]  intel
python                    2.7.14                  intel_6  [intel]  intel
python-dateutil           2.6.0              py27_intel_3  [intel]  intel
pytorch-cpu               0.4.1                py27_cpu_1    pytorch
pytz                      2018.4             py27_intel_0  [intel]  intel
PyYAML                    3.13                      <pip>
readline                  7.0                  ha6073c6_4
requests                  2.18.4             py27_intel_0  [intel]  intel
ruamel_yaml               0.11.14            py27_intel_1  [intel]  intel
scikit-learn              0.19.1          np114py27_intel_29  [intel]  intel
scipy                     1.0.1           np114py27_intel_3  [intel]  intel
setuptools                39.2.0                   py27_0
six                       1.10.0             py27_intel_8  [intel]  intel
sqlite                    3.23.1                  intel_0  [intel]  intel
tbb                       2018.0.1           py27_intel_4  [intel]  intel
tcl                       8.6.4                  intel_19  [intel]  intel
tensorboard               1.6.0                     <pip>
tensorflow                1.6.0                     <pip>
termcolor                 1.1.0                    py27_1
tk                        8.6.4                  intel_26  [intel]  intel
torchvision-cpu           0.2.1                    py27_1    pytorch
urllib3                   1.22               py27_intel_0  [intel]  intel
virtualenv                16.0.0                   py27_0
werkzeug                  0.14.1                   py27_0    intel
wheel                     0.31.0             py27_intel_0  [intel]  intel
xz                        5.2.3                   intel_0  [intel]  intel
yaml                      0.1.6                  intel_10  [intel]  intel
zlib                      1.2.11                  intel_3  [intel]  intel