Conda on Theta

Help Desk

Hours: 9:00am-5:00pm CT M-F
Telephone: 866-508-9181 (Toll-Free, US Only) or 630-252-3111
Email: support@alcf.anl.gov

Theta

Conda is a popular package and virtual environment management framework that is used for managing python packages. ALCF has installed this framework, with some default package that users can use for simulation, analysis, and machine learning on Theta.

Getting Started

Adding Conda to your environment

module load miniconda-3

This will load conda version 4.5.4 or 4.5.12 with Python 3.6. The installed modules are listed at the bottom of this page:

Users can also use

module load miniconda-2.7/conda-4.5.4

Note: this module will be removed in January at the end of life 

which will provide Python 2.7.

If all the python packages you need are installed, then you can use this module as is. However, if you need custom modules installed, have a look at the section below about Installing Custom Python Modules.

We also have versions available for testing on the login-nodes of Theta, but be aware you should not run large MPI tests on the login nodes as they are a shared resource.

Probing the environment

Full Conda documentation can be found here, but we'll cover a few useful things here. After the module is loaded, one can list the python modules installed and their versions using

conda list

Installing Custom Python Modules

In order to add custom python modules to the conda environment, one must create a custom conda environment. This can be done using (example for python 3.6 conda):

conda create -p </path/to/new/env> --clone $MINICONDA_INSTALL_PATH

This creates a custom environment in the path you specify and installs everything that existed in the base conda installation. 

Next you can move into this custom environment with

source activate </path/to/new/env>

Now you can install your own packages on top of the base installation using

conda install <python-module>

These modules will be installed in /path/to/new/env/lib.

We recently noticed that after the source activate the custom environment path is placed last in order of searching for python modules. This means if the user pip-installs or conda-installs a different version of a package the original from the $MINICONDA_INSTALL_PATH area will still be chosen. Therefore, after the source activate, one should do

export PYTHONPATH=/path/to/new/env/lib/pythonX/site-packages:$PYTHONPATH

Installed Modules:

miniconda-3.6/X

```# Name                    Version                   Build  Channel
_libgcc_mutex             0.1                        main
_tflow_select             2.3.0                       mkl
absl-py                   0.7.1                    py37_0
asn1crypto                0.24.0                   py37_0
astor                     0.8.0                    py37_0
attrs                     19.2.0                     py_0
backcall                  0.1.0                    py37_0
blas                      1.0                         mkl
bleach                    3.1.0                    py37_0
bzip2                     1.0.8                h7b6447c_0
c-ares                    1.15.0            h7b6447c_1001
ca-certificates           2019.8.28                     0
certifi                   2019.9.11                py37_0
cffi                      1.12.3           py37h2e261b9_0
chardet                   3.0.4                    py37_1
cloudpickle               1.2.1                    pypi_0    pypi
cmake                     3.14.0               h52cb24c_0
conda                     4.7.12                   py37_0
conda-package-handling    1.3.11                   py37_0
cryptography              2.7              py37h1ba5d50_0
cycler                    0.10.0                   py37_0
cython                    3.0a0                    pypi_0    pypi
cytoolz                   0.10.0           py37h7b6447c_0
dask-core                 2.4.0                      py_0
dbus                      1.13.6               h746ee38_0
decorator                 4.4.0                    py37_1
defusedxml                0.6.0                      py_0
entrypoints               0.3                      py37_0
expat                     2.2.6                he6710b0_0
fontconfig                2.13.0               h9420a91_0
freetype                  2.9.1                h8a8886c_1
gast                      0.2.2                    py37_0
glib                      2.56.2               hd408876_0
gmp                       6.1.2                h6c8ec71_1
google-pasta              0.1.7                      py_0
grpcio                    1.16.1           py37hf8bcb03_1
gst-plugins-base          1.14.0               hbbd80ab_1
gstreamer                 1.14.0               hb453b48_1
h5py                      2.9.0            py37h7918eee_0
hdf5                      1.10.4               hb1b8bf9_0
horovod                   0.18.1                   pypi_0    pypi
icu                       58.2                 h9c2bf20_1
idna                      2.8                      py37_0
imageio                   2.5.0                    py37_0
intel-openmp              2019.4                      243
ipykernel                 5.1.2            py37h39e3cac_0
ipython                   7.8.0            py37h39e3cac_0
ipython_genutils          0.2.0                    py37_0
ipywidgets                7.5.1                      py_0
jedi                      0.15.1                   py37_0
jinja2                    2.10.3                     py_0
joblib                    0.13.2                   py37_0
jpeg                      9b                   h024ee3a_2
jsonschema                3.0.2                    py37_0
jupyter                   1.0.0                    py37_7
jupyter_client            5.3.3                    py37_1
jupyter_console           6.0.0                    py37_0
jupyter_core              4.5.0                      py_0
keras                     2.2.4                         0
keras-applications        1.0.8                      py_0
keras-base                2.2.4                    py37_0
keras-preprocessing       1.1.0                      py_1
kiwisolver                1.1.0            py37he6710b0_0
krb5                      1.16.1               h173b8e3_7
libarchive                3.3.3                h5d8350f_5
libcurl                   7.65.3               h20c2e04_0
libedit                   3.1.20181209         hc058e9b_0
libffi                    3.2.1                hd88cf55_4
libgcc-ng                 9.1.0                hdf63c60_0
libgfortran-ng            7.3.0                hdf63c60_0
libmklml                  2019.0.5                      0
libpng                    1.6.37               hbc83047_0
libprotobuf               3.8.0                hd408876_0
libsodium                 1.0.16               h1bed415_0
libssh2                   1.8.2                h1ba5d50_0
libstdcxx-ng              9.1.0                hdf63c60_0
libtiff                   4.0.10               h2733197_2
libuuid                   1.0.3                h1bed415_2
libxcb                    1.13                 h1bed415_1
libxml2                   2.9.9                hea5a465_1
lz4-c                     1.8.1.2              h14c3975_0
lzo                       2.10                 h49e0be7_2
markdown                  3.1.1                    py37_0
markupsafe                1.1.1            py37h7b6447c_0
matplotlib                3.1.1            py37h5429711_0
memory-profiler           0.55.0                   pypi_0    pypi
mistune                   0.8.4            py37h7b6447c_0
mkl                       2019.4                      243
mkl-dnn                   0.19                 hfd86e86_1
mkl-service               2.0.2            py37h7b6447c_0
mkl_fft                   1.0.14           py37ha843d7b_0
mkl_random                1.0.2            py37hd81dba3_0
mpi4py                    3.0.2                    pypi_0    pypi
nbconvert                 5.6.0                    py37_1
nbformat                  4.4.0                    py37_0
ncurses                   6.1                  he6710b0_1
networkx                  2.3                        py_0
ninja                     1.9.0            py37hfd86e86_0
notebook                  6.0.1                    py37_0
numpy                     1.16.4           py37h7e9f1db_0
numpy-base                1.16.4           py37hde5b4d6_0
olefile                   0.46                     py37_0
openssl                   1.1.1d               h7b6447c_2
pandas                    0.25.1           py37he6710b0_0
pandoc                    2.2.3.2                       0
pandocfilters             1.4.2                    py37_1
parso                     0.5.1                      py_0
pcre                      8.43                 he6710b0_0
pexpect                   4.7.0                    py37_0
pickleshare               0.7.5                    py37_0
pillow                    6.1.0            py37h34e0f95_0
pip                       19.1.1                   py37_0
prometheus_client         0.7.1                      py_0
prompt_toolkit            2.0.10                     py_0
protobuf                  3.8.0            py37he6710b0_0
psutil                    5.6.3                    pypi_0    pypi
ptyprocess                0.6.0                    py37_0
pycosat                   0.6.3            py37h14c3975_0
pycparser                 2.19                     py37_0
pygments                  2.4.2                      py_0
pyopenssl                 19.0.0                   py37_0
pyparsing                 2.4.2                      py_0
pyqt                      5.9.2            py37h05f1152_2
pyrsistent                0.15.4           py37h7b6447c_0
pysocks                   1.7.0                    py37_0
python                    3.7.3                h0371630_0
python-dateutil           2.8.0                    py37_0
python-libarchive-c       2.8                     py37_11
pytorch-cpu               1.1.0               py3.7_cpu_0    pytorch
pytz                      2019.2                     py_0
pywavelets                1.0.3            py37hdd07704_1
pyyaml                    5.1.2            py37h7b6447c_0
pyzmq                     18.1.0           py37he6710b0_0
qt                        5.9.7                h5867ecd_1
qtconsole                 4.5.5                      py_0
readline                  7.0                  h7b6447c_5
requests                  2.22.0                   py37_0
rhash                     1.3.8                h1ba5d50_0
ruamel_yaml               0.15.46          py37h14c3975_0
scikit-image              0.15.0           py37he6710b0_0
scikit-learn              0.21.2           py37hd81dba3_0
scipy                     1.3.1            py37h7c811a0_0
send2trash                1.5.0                    py37_0
setuptools                41.0.1                   py37_0
sip                       4.19.8           py37hf484d3e_0
six                       1.12.0                   py37_0
sqlite                    3.29.0               h7b6447c_0
tensorboard               1.14.0           py37hf484d3e_0
tensorboardx              1.8                      pypi_0    pypi
tensorflow                1.14.0          mkl_py37h45c423b_0
tensorflow-base           1.14.0          mkl_py37h7ce6ba3_0
tensorflow-estimator      1.14.0                     py_0
termcolor                 1.1.0                    py37_1
terminado                 0.8.2                    py37_0
testpath                  0.4.2                    py37_0
tk                        8.6.8                hbc83047_0
toolz                     0.10.0                     py_0
torchvision-cpu           0.3.0             py37_cuNone_1    pytorch
tornado                   6.0.3            py37h7b6447c_0
tqdm                      4.32.1                     py_0
traitlets                 4.3.3                    py37_0
urllib3                   1.24.2                   py37_0
wcwidth                   0.1.7                    py37_0
webencodings              0.5.1                    py37_1
werkzeug                  0.15.5                     py_0
wheel                     0.33.4                   py37_0
widgetsnbextension        3.5.1                    py37_0
wrapt                     1.11.2           py37h7b6447c_0
xz                        5.2.4                h14c3975_4
yaml                      0.1.7                had09818_2
zeromq                    4.3.1                he6710b0_3
zlib                      1.2.11               h7b6447c_3
zstd                      1.3.7                h0b5b093_0```

miniconda-2.7/conda-4.5.4

Systems
Topics