HPE Cray Supercomputing Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (26.03-Rev. A) S-8022

About the HPE CPE installation guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing systems

The HPE Cray Supercomputing Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (S-8022) includes procedures to install HPE Cray Supercomputing Programming Environment (CPE) and Parallel Application Launch Service (PALS) with HPE Performance Cluster Manager (HPCM) on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems.

This publication is intended for system administrators receiving their first release of this product or upgrading from a previous release. The information assumes that the administrator understands Linux system administration and HPCM.

IMPORTANT: Be sure to always employ the latest installation instructions. To check for the latest version and revisions of this CPE guide, go to the HPE Support Center website, and perform a search on the part number of this document (S-8022).

For information on how to use CPE or details regarding CPE components and modules, see the CPE Online Documentation website web page. See also the Documentation and support chapter for additional CPE resources and information.

Release information

This publication supports installing CPE 26.03 on HPE Cray Supercomputing EX systems with specific configurations:

Management Software & Version

COS Version

Operating System

Architecture

GCC Version

HPCM 1.15

USS 1.5.X

SLES 15 SP7

X86

Not Applicable

HPCM 1.15

USS 1.5.X

SLES 15 SP6

X86

Not Applicable

HPCM 1.15

USS 1.5.X

SLES 15 SP7

AArch64

Not Applicable

HPCM 1.15

USS 1.5.X

SLES 15 SP6

AArch64

Not Applicable

HPCM 1.15

Not Applicable

RHEL 9.6

X86

14.0

HPCM 1.15

Not Applicable

RHEL 9.5

X86

14.0

HPCM 1.15

Not Applicable

RHEL 8.10

X86

14.0

HPCM 1.15

Not Applicable

RHEL 9.6

AArch64

14.0

HPCM 1.15

Not Applicable

RHEL 9.5

AArch64

14.0

This release also supports v21.0.0 of the HPE Cray Compiler Environment (CCE).

IMPORTANT: In releases before the COS 25.9 release, COS comprised three components: COS Base, HPE USS, and HPE SLES. Starting with this CPE 25.09 release, COS 25.9 (and later) comprises:

  • HPE Cray Supercomputing User Services Software (USS)

  • HPE SUSE Linux Enterprise Server

See the CPE 26.03 Release Announcements on the CPE Online Documentation website for other support dependencies.

Variable substitutions

Use the following variable substitutions throughout included procedures.

  • <CPE_RELEASE> = 26.03

  • <CPE_VERSION> = 26.03.X (where X is the third digit of the actual three-digit version number of an official and HPE-supported version number)

  • <spX> or <SPX> = sp7 or SP7 (as appropriate)

  • <spX> or <SPX> = sp6 or SP6 (as appropriate)

  • <RHELX-X> = rhel-9.6 (as appropriate)

  • <RHELX-X> = rhel-9.5 (as appropriate)

  • <RHELX-X> = rhel-8.10 (as appropriate)

Record of revision

New in the CPE 26.03 (Rev. A) publication

New in the CPE 26.03 publication

New in the CPE 25.09 (Rev. A) publication

New in the CPE 25.09 publication

New in the CPE 25.03 (Rev. B) publication

New in the CPE 25.03 (Rev. 1) publication

New in the CPE 25.03 publication

New in the CPE 24.11 publication

New in the CPE 24.07 (Rev. A) publication

Publication Title

Date

HPE Cray Supercomputing Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (26.03-Rev. A) S-8022

April 2026

HPE Cray Supercomputing Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (26.03) S-8022

March 2026

HPE Cray Supercomputing Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (25.09-Rev. A) S-8022

December 2025

HPE Cray Supercomputing Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (25.09) S-8022

September 2025

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (25.03-Rev. B) S-8022

December 2025

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (25.03-Rev. 1) S-8022

April 2025

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (25.03) S-8022

March 2025

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (24.11) S-8022

January 2025

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems (24.07) S-8022

August 2024

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (24.03) S-8022

May 2024

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (23.12) S-8022

December 2023

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (23.09) S-8022

September 2023

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (23.05) S-8022

June 2023

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (23.02-Rev A) S-8022

March 2023

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (23.02) S-8022

February 2023

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.12) S-8022

December 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.11) S-8022

November 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.10) S-8022

October 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.09) S-8022

September 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.08 Rev A) S-8022

August 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.08) S-8022

August 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.06) S-8022

June 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.05) S-8022

May 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.04) S-8022

April 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.03) S-8022

March 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (22.02) S-8022

February 2022

HPE Cray Programming Environment Installation Guide: HPCM on HPE Cray EX and HPE Cray Supercomputer Systems (21.02 - 21.12) S-8022

Feb - Dec 2021

Document conventions

This section defines the documentation conventions used throughout the guide, including typographic styles for code, commands, paths, and the backslash as the shell line-continuation character. It explains command-prompt notation, showing how the host and account are indicated (root prompts end with #, non-root prompts use account@hostname>) and lists node abbreviations (CN, NCN, AN, UAN) with example prompts for specific node types and Kubernetes contexts. This section also provides a simple three-step workflow and a reminder to verify pasted commands.

Typographical and command prompt conventions

This section provides background information about typographical and command prompts used in this guide and describes how they are delineated throughout this guide.

Typographical conventions

Type

Convention Description

This style

Indicates program code, reserved words, library functions, command-line prompts, screen output, file/path names, variables, and other software constructs.

\ (backslash)

When inserted at the end of a command line, indicates the Linux shell line continuation character (lines joined by a backslash are parsed as a single line).

Command prompt conventions

Host name and account in command prompts: The host name in a command prompt indicates where the command must be run. The account that must run the command is also indicated in the prompt.

  • The root or super-user account always has the # character at the end of the prompt.

  • Any non-root account is indicated with account@hostname>. A user account that is not root or crayadm is seen as user.

Command Prompt

Definition

user@login>

Run the command on any login node as any non-root user.

hostname#

Run the command on the specified system as root.

user@hostname>

Run the command on the specified system as any non-root user.

Copying and pasting text from this document

Using the Copy and Paste functions from a PDF is unreliable. Although copying and pasting a command line typically works, copying and pasting formatted file content (for example, JSON, YAML) typically fails. To ensure that file content is copied and pasted correctly while performing the procedures in this guide:

  1. Copy the content from the PDF.

  2. Paste it to a neutral editing form and add the necessary formatting.

  3. Copy the content from the neutral form and paste it into the console.

Tip: As a best practice, double-check copied/pasted commands for correctness, as some commands may not render correctly in the PDF.

Downloading HPE Cray Supercomputing EX software

To download HPE Cray Supercomputing EX software, refer to the HPE Support Center or download it directly from My HPE Software Center. The HPE Support Center contains a wealth of documentation, training videos, knowledge articles, and alerts for HPE Cray Supercomputing EX systems. It provides the most detailed information about a release as well as direct links to product firmware, software, and patches available through My HPE Software Center.

Downloading the software through the HPE Support Center

HPE recommends downloading software through the HPE Support Center because of the many other resources available on the website.

  1. Visit the HPE Cray Supercomputing EX product page on the HPE Support Center.

  2. Search for specific product info, such as the full software name or recipe name and version.

    For example, search for “Slingshot 2.1” or “Cray System Software with CSM 24.3.0.”

  3. Find the desired software in the search results and select it to review details.

  4. Select Obtain Software and select Sign in Now when prompted.

    If a customer’s Entitlement Order Number (EON) is tied to specific hardware rather than software, the software is available without providing account credentials. Access the software instead by selecting Download Software and skip the next step in this procedure.

  5. Enter account credentials when prompted and accept the HPE License Terms.

    To download software, customers must ensure their Entitlement Order Number (EON) is active under My Contracts & Warranties on My HPE Software Center. If customers have trouble with the EON or are not entitled to a product, they must contact their HPE contract administrator or sales representative for assistance.

  6. Choose the needed software and documentation files to download and select curl Copy to access the files.

    Just like the software files, the documentation files change with each release. In addition to the official documentation, valuable information for a release is often available in files that include the phrase README in their name. Be sure to select and review these files in detail.

    HPE recommends the curl Copy option, which downloads a single text file with curl commands to use on the desired system. You must run the curl commands within 24 hours of downloading them or download new commands if more than 24 hours have passed.

    To validate the security of the downloads, you can later compare the files on the desired system against the checksums provided by HPE underneath each selected download.

  7. Save the text file to a central location.

  8. On the system where the software will be downloaded, run a shell script to execute the text file that includes the curl commands.

    For example:

    ncn-m001# bash -x <TEXT_FILE_PATH>

    The -x option in this example tracks the download progress of each curl command in the text file.

Downloading the software directly from the My HPE Software Center

Users already familiar with a release can save time by downloading software directly from My HPE Software Center.

  1. Visit My HPE Software Center and select Sign in.

  2. Enter account credentials when prompted and select Software in the left navigation bar.

  3. Search for specific product info, such as the full software name or recipe name and version.

    For example, search for “Slingshot 2.1” or “Cray System Software with CSM 24.3.0.”

  4. Find the desired software in the search results and review details by selecting Product Details under the Action column.

    Image of Product Detailsoption

  5. Select Go To Downloads Page and accept the HPE License Terms.

    To download software, customers must ensure their Entitlement Order Number (EON) is active under My Contracts & Warranties. If customers have trouble with the EON or are not entitled to a product, they must contact their HPE contract administrator or sales representative for assistance.

  6. Choose the needed software and documentation files to download and select curl Copy to access the files.

    Just like the software files, the documentation files change with each release. In addition to the official documentation, valuable information for a release is often available in files that include the phrase README in their name. Be sure to select and review these files in detail.

    HPE recommends the curl Copy option, which downloads a single text file with curl commands to use on the desired system. You must run the curl commands within 24 hours of downloading them or download new commands if more than 24 hours have passed.

    To validate the security of the downloads, you can later compare the files on the desired system against the checksums provided by HPE underneath each selected download

  7. Save the text file to a central location.

  8. On the system where the software will be downloaded, run a shell script to execute the text file that includes the curl commands.

    For example:

    ncn-m001# bash -x <TEXT_FILE_PATH>

    The -x option in this example tracks the download progress of each curl command in the text file.

Installation Prerequisites

For systems that include Scalable Unit (SU) leaders, HPE only supports NFS for CPE deployments using leader aliases. HPCM does not support exporting the filesystem from the admin node if leaders are in place. All nodes deploying CPE subsequently must have a leader IP alias assigned. Use the scalable bittorrent transport to accommodate these requirements. Compute nodes on an HPE Cray Supercomputing EX system are often already set up with SU leader aliases during auto-discovery. Any other nodes must be manually configured. Note also that multiple nodes can be managed together by passing a list or range of nodes to -n.

  1. Set up the transport for service nodes. Use bittorrent for the transport for service nodes.

    IMPORTANT: This setup is required, even if you are not reinstalling the node. The running node is not affected; the node is affected only if it is provisioned again in the future.

    admin# cm node set –transport bittorrent -n n1

  2. Create the bittorrent tarball if it is not available yet:

    admin# cm image refresh –bittorrent -i ubu-22.04.1

  3. Get the IP address of a SU leader node. The example below uses leader1, but any SU leader node can be used:

    admin# ssh leader1 ctdb ip

  4. Pick one of the IP addresses returned in the previous step, and assign it to the nodes:

    admin# cm node set -n n1 –su-leader 172.23.255.1

Installing CPE on systems with SUSE Linux Enterprise Server

This procedure provides instructions for installing CPE and optionally sets Lmod as the default module handling system. For HPE Cray Supercomputing EX or HPE Cray Supercomputing systems with GPU compute nodes that are not running COS, not that, optionally:

  • If a rocm/x.x.x or cudatoolkit/x.x.x GPU toolkit modulefile is required, refer to GPU Toolkit Modulefile Templates online for environment modulefiles and pkgconfig file templates.

  • Systems running COS typically have GPU toolkit modulefiles pre-installed and ready for use.

Preparing for the installation on SLES

  1. Obtain required cpe-<CPE_VERSION>-sles15-<spX>-<ARCH>.iso ISO files.

  2. Enable repositories (for the installation of cpe-support), including:

    • SLE Module Basesystem

    • SLE Module HPC

    • USS

  3. Note that to use UCX with Cray-MPICH:

    • Cray-MPICH using the UCX netmod is supported on SLES 15 or other systems with the HPCM installer.

    • HPE does not distribute UCX directly.

    • Mellanox provides a UCX solution as a part of their HPC-X software toolkit. This solution is the recommended path. Open source and Linux distribution packages provide a functional, although not necessarily performant, alternative.

  4. Replacing the CPE_VERSION=25.3.X with the actual three-digit version being installed, set the ENV variables:

    OS_NAME=sles
OS_MAJOR=15
OS_MINOR=6
OS_NAME_VERSION=${OS_NAME}${OS_MAJOR}-sp${OS_MINOR}
ARCH=x86_64
CPE_VERSION=25.3.X
CPE_ISO=cpe-${CPE_VERSION}-${OS_NAME_VERSION}-${ARCH}.iso
CPE_REPO=CPE-${CPE_VERSION}-${OS_NAME_VERSION}-${ARCH}
CPE_REPO_GROUP=${CPE_REPO}-recipe
CPE_IMAGE_NAME=cpe-${CPE_VERSION}-${OS_NAME}${OS_MAJOR}_${OS_MINOR}-${ARCH}
BOOT_IMAGE_NAME=my-image

Building the CPE image (SLES)

Prerequisite

Perform preparation steps before completing the procedure in this section.

Procedure

  1. Add the CPE repository from the ISO:

    admin# cm repo add ${CPE_ISO} –priority 99

  2. Create a repository group for the CPE recipe. This group should:

    • Include repositories for CPE and versions of HPCM, SLES, and either USS or USS-wlm-support, and

    • Match the compute nodes.

    Note: CPE 25.03 requires gcc14 packages from the SLES update repositories.

    admin# cm repo group add ${CPE_REPO_GROUP} --repos \                          
${CPE_REPO} \                                                                 
Cluster-Manager-1.13-sles15sp6-x86_64 \                                       
SLE-15-SP6-Full-x86_64 \                                                      
USS-1.3.0-82-cos-base-3.3-x86_64 \                                            
HPE-SLE-Updates-Module-Basesystem-15-SP6-x86_64-24.11.250127-sles15-sp6-x86_64 \
HPE-SLE-Updates-Module-Development-Tools-15-SP6-x86_64-24.11.250127-sles15-sp6-x86_64 \
HPE-SLE-Updates-Module-HPC-15-SP6-x86_64-24.11.250127-sles15-sp6-x86_64 \     
HPE-SLE-Updates-Module-Legacy-15-SP6-x86_64-24.11.250127-sles15-sp6-x86_64 \  
HPE-SLE-Updates-Product-SLES-15-SP6-x86_64-24.11.250127-sles15-sp6-x86_64

    Note: Check supporting documentation for exact names and versions of SLE and USS repositories.

  3. Create a copy of cpe.rpmlist located in the CPE repository. Optionally, skip this step if no modifications are made to the default rpmlist.

    admin# cp /opt/clmgr/repos/cm/${CPE_REPO}/cpe.rpmlist ${HOME}/cpe-${CPE_VERSION}.rpmlist

  4. (Optional) Modify the rpmlist to include or exclude necessary components. Additional compiler programming environments can be added by un-commenting the existing subsections in the rpmlist.

    admin# vim ${HOME}/cpe-${CPE_VERSION}.rpmlist

Subcomponents predefined in the provided `rpmlist`, include (but are not limited to):

# # --- Base ---
cpe-gcc-native-12.2
cpe-gcc-native-13.1
...

# # --- CCE ---
cce-19.0.0
cce-19.0.0-binutils
...

# # --- CSML ---
cray-fftw-3.3.10.9
cray-hdf5-1.14.3.3
...

# # --- MPT ---
cray-dsmml-0.3.0
cray-mpich-8.1.31-cray180
...

# # --- TOOLS ---
atp-3.15.5
cray-ccdb-5.0.5
...

# # --- PrgEnv-amd ---
#cpe-descriptive-manifest-amd
#cpe-prgenv-amd
...

# # --- PrgEnv-aocc ---
#cpe-descriptive-manifest-aocc
#cpe-prgenv-aocc
...

# # --- PrgEnv-intel ---
#cpe-descriptive-manifest-intel
#cpe-prgenv-intel
...

# # --- PrgEnv-nvidia ---
#cpe-descriptive-manifest-nvidia
#cpe-prgenv-nvidia
...

# # --- HPCM (Do not remove) ---
sgi-cluster

    Important: HPCM 1.13 (and later) supports non-bootable images. These images do not require a kernel for HPCM 1.12 (and older) kernel packages will be required to build an image. In this case, make sure to add the appropriate kernel package for the target OS.

  5. Create a non-bootable CPE image using the modified CPE rpmlist and CPE recipe repository group. The default rpmlist from the CPE repository directory can also be used if no modifications were made.

    Important: The image name must follow the same pattern as the one shown in the example; otherwise, the image is not mounted later. Specifically, the image name must begin with cpe- and end with the OS and architecture. For example:

    • cpe-*-<os_name><os_major_version>_<os_minor_version>-<architecture>

    • cpe-25.3.3-sles15_6-x86_64

    • cpe-25.3.3-sles15_6-aarch64

    For the image name, note that flexibility is allowed for the cited version.

    Important: HPCM 1.13 introduced the –non-bootable option to build non-bootable images without a kernel. For HPCM 1.12 (and older), you must remove the –non-bootable option from the image create command.

    admin# cm image create --non-bootable \
-i ${CPE_IMAGE_NAME} \
--pkglist ${HOME}/cpe-${CPE_VERSION}.rpmlist \
--repo-group ${CPE_REPO_GROUP}

  6. Install the CPE defaults package into the image. This package sets all appropriate packages for the release as the default in the image.

    admin# cm image zypper -i ${CPE_IMAGE_NAME} --repo-group \
${CPE_REPO_GROUP} install cpe-defaults

  7. Activate the CPE image to create a squashfs file, which will be visible to the compute nodes:

    Note: The kdump.server failure message can be safely ignored since the image is built without a kernel.

    admin# cm image activate -i ${CPE_IMAGE_NAME}

Enabling CPE in the boot image and provision nodes (SLES)

Prerequisites

Procedure

For each compute and service node image to include CPE:

Note: Use the cm image show command to display available images.

  1. Import the RPM public key:

    admin# rpm --root /opt/clmgr/image/images/${BOOT_IMAGE_NAME} \
--import /opt/clmgr/repos/cm/${CPE_REPO}/*.public

  2. Install the cm-pe-integration and cpe-support RPMs, included in the CPE repository, into the image.

    Note: Adding the CPE repository to a repository group automatically adds the required CPE packages to the auto-generated rpmlist for the corresponding repository group. This method is useful when building a new image.

    cm image zypper -i ${BOOT_IMAGE_NAME} --repo-group ${CPE_REPO_GROUP} install cm-pe-integration cpe-support

  3. (Optional) Set the default CPE image by modifying /opt/clmgr/image/images/${BOOT_IMAGE_NAME}/etc/cray-pe.d/pe_overlay.conf and setting the DEFAULT_IMAGE_NAME variable to the desired CPE image. For example:

    • If you are not installing a patch, optionally set the default CPE version by modifying /opt/clmgr/image/images/${BOOT_IMAGE_NAME}/etc/craype.d/pe_overlay.conf and setting the DEFAULT_IMAGE_VERSION variable to the desired CPE version.

      # Default image
#
# When two images own the same file, the default image will be used.
# If no image is specified the newest image version is used.
# Don't include .squashfs file extension

DEFAULT_IMAGE_NAME=cpe-25.09-sle15_6-x86_64

    • If you are installing a patch (for example, cm-pe-integration-YY.MM-YYYYMMDDXXXXXX_XXXXxxXXXXXX RPM patch), optionally set the default CPE version by modifying /opt/clmgr/image/images/${BOOT_IMAGE_NAME}/etc/craype.d/pe_overlay.conf and setting the DEFAULT_IMAGE_VERSION variable to the desired CPE version. For example, to set the default to 24.11, enter:

      # Default image
#
# When two images own the same file, the default image will be used.
# If no image is specified the newest image version is used.
# The version should match the version string in the image filename.
# Example 1:
# Image: cpe-25.03-sles15.6-x86_64
# DEFAULT_IMAGE_VERSION=25.03
# Example 2:
# Image: cpe-base-sles15sp6.x86_64-24.11
# DEFAULT_IMAGE_VERSION=24.11
#
DEFAULT_IMAGE_VERSION=24.11

  4. (Optional) For CPE releases before 25.03, modify /opt/clmgr/image/images/<IMAGE_NAME>/etc/cray-pe.d/pe_releases to indicate which CPE releases to install:

    21.09
21.07

    CAUTION: While this optional step makes allowances for previous CPE versions, use caution if implementing this step when updating your system. The CPE software suite follows specific configuration and support criteria for each specific CPE release. HPE does not guarantee support for systems and configurations outside of those officially supported for each release. HPE advises users to thoroughly review all documentation associated with each targeted release, along with stipulated support requirements. See the Support matrices for previous release and specific release announcements on the CPE Online Documentation website for this and other releases that may be applicable to you. If you have additional questions, contact HPE Support.

    Note: CPE version 25.03 (and later) should not be added to the /opt/clmgr/image/images/<IMAGE_NAME>/etc/craype.d/pe_releases file. If previous CPE versions are not needed after a CPE upgrade, remove the /opt/clmgr/image/images /<IMAGE_NAME>/etc/cray-pe.d/pe_releases file.

  5. (Optional) While you can use either the default CPE Module Environment system or Lmod on a site-wide basis (as the systems are mutually exclusive and cannot both run on the same system), set Lmod as the default module handling system in the image:

    a. In /opt/clmgr/image/images/${BOOT_IMAGE_NAME}/etc/cray-profile.d/cray-pe-configuration.csh, change the module_prog variable:

    set module_prog="environment modules"
set module_prog="lmod"

    b. In /opt/clmgr/image/images/${BOOT_IMAGE_NAME}/etc/cray-profile.d/cray-pe-configuration.sh, change the module_prog variable:

    module_prog="environment modules"
module_prog="lmod"

  6. (Optional) Update revision history with a comment if you are using HPCM image revision management:

    admin# cm image revision commit -i ${BOOT_IMAGE_NAME} -m

  7. (For disk-less nodes) Activate the image:

    admin# cm image activate -i ${BOOT_IMAGE_NAME}

    See instructions for initializing an image in the HPE Performance Cluster Manager Administration Guide for all other node configurations.

  8. Reboot one compute node based on your system. For example:

    Diskless Node Example

    admin# cm node set -i ${BOOT_IMAGE_NAME} -n nid0001
admin# cm power reboot -n nid0001

    or

    Diskful Node Example

    admin# cm node provision -i ${BOOT_IMAGE_NAME} -n nid0001

    See the HPE Performance Cluster Manager Administration Guide for reboot options for your specific environment.

  9. Connect to the booted compute node, and verify that CPE modules are loaded.

    Example:

    admin# ssh nid0001
nid0001# module list
Currently Loaded Modules:
1) craype-x86-rome          5) cce/17.0.0           9) cray-libsci/23.12.5
2) libfabric/1.15.2.0       6) craype/2.7.30       10) PrgEnv-cray/8.5.0
3) craype-network-ofi       7) cray-dsmml/0.2.2
4) perftools-base/23.12.0   8) cray-mpich/8.1.28

    See the HPE HPCM release announcement for current CPE release product versions on the CPE Online Documentation website.

Finally, reboot the remaining compute nodes on the system if the installation appears correct, and then disable the CPE repository after all images are updated:

cm image zypper -i ${BOOT_IMAGE_NAME} --repo-group ${CPE_REPO_GROUP} install cm-pe-integration cpe-support

Installing CPE on systems with Red Hat Enterprise Linux

This procedure provides instructions for installing CPE and optionally setting Lmod as the default module handling system. Note that, optionally, for HPE Cray EX or HPE Cray supercomputer systems with GPU compute nodes and not running COS:

  • If a rocm/x.x.x or cudatoolkit/x.x.x GPU toolkit modulefile is required, refer to GPU Toolkit Modulefile Templates online for environment modulefiles and pkg-config file templates.

  • Systems running COS typically have GPU toolkit modulefiles pre-installed and ready for use.

Use this procedure additionally to install systems running Rocky Linux.

Important: Throughout this procedure, use values specified in Release Information to replace instances of:

  • <CPE_RELEASE>

  • <CPE_VERSION>

  • <RHELX-X>

Furthermore, with systems running Rocky Linux, you must replace instances of rhel with rocky, where applicable.

Preparing for the installation on RHEL

  1. Obtain the appropriate files:

    • For RHEL, obtain the cpe-<CPE_VERSION>-<RHELX-X>-<ARCH>.iso ISO files.

    • For Rocky Linux, use the RHEL-based installation media.

  2. Do one of the following:

    • For RHEL, download and enable required OS repositories (for the installation of cpe-support), including:

      • RHEL BaseOS

      • RHEL AppStream

      • EPEL

      • USS WLM Support

    • For Rocky Linux, obtain and enable the equivalent Rocky repositories in place of the RHEL repositories.

  3. Note that to use UCX with HPE Cray-MPICH:

    • HPE Cray-MPICH using the UCX netmod is supported on RHEL 8.7 systems with the HPCM installer.

    • HPE does not distribute UCX directly.

    • Mellanox provides a UCX solution as a part of their HPC-X software toolkit. This solution is the recommended path. Open source and Linux distribution packages provide a functional, although not necessarily performant, alternative.

  4. Replacing the CPE_VERSION=25.3.X with the actual three-digit version being installed, set the ENV variables. For example:

    OS_NAME=rhel
OS_MAJOR=9
OS_MINOR=5
OS_NAME_VERSION=${OS_NAME}-${OS_MAJOR}-${OS_MINOR}
ARCH=x86_64
CPE_VERSION=25.3.X
CPE_ISO=cpe-${CPE_VERSION}-${OS_NAME_VERSION}-${ARCH}.iso
CPE_REPO=cpe-${CPE_VERSION}-${OS_NAME_VERSION}-${ARCH}
CPE_REPO_GROUP=${CPE_REPO}-recipe
CPE_IMAGE_NAME=cpe-${CPE_VERSION}-${OS_NAME}${OS_MAJOR}_${OS_MINOR}-${ARCH}
BOOT_IMAGE_NAME=my-image

    Important: For Rocky Linux, the environment variables CPE_ISO and CPE_REPO must use rhel, while CPE_IMAGE_NAME must use rocky.

Building the CPE image (RHEL)

Prerequisite

Perform preparation steps before completing the procedure in this section.

Procedure

  1. Add the CPE repository from the ISO:

    admin# cm repo add ${CPE_ISO} –priority 99

  2. Create a repository group for the CPE recipe. This group should:

    • Include repositories for CPE and versions of HPCM, RHEL, EPEL, and either USS or USS-wlm-support, and

    • Match the compute nodes.

    RHEL AppStream updates may be required for gcc support.

    admin# cm repo group add ${CPE_REPO_GROUP} --repos \
${CPE_REPO} \
Cluster-Manager-1.13-rhel95-x86_64 \
Red-Hat-Enterprise-Linux-9.5.0-x86_64 \
EPEL-9 \
USS-1.3.0-84-rhel-9.5-rhel9.5-x86_64

    Check supporting documentation for exact names and versions of USS repositories.

  3. Create a copy of cpe.rpmlist located in the CPE repository. Optionally, skip this step if no modifications are made to the default rpmlist.

    admin# cp /opt/clmgr/repos/cm/${CPE_REPO}/cpe.rpmlist ${HOME}/cpe-${CPE_VERSION}.rpmlist

  4. (Optional) Modify the rpmlist to include or exclude necessary components. Additional compiler programming environments can be added by un-commenting the existing subsections in the rpmlist.

    admin# vim ${HOME}/cpe-${CPE_VERSION}.rpmlist

Subcomponents predefined in the provided `rpmlist`, include (but are not limited to):

# # --- Base ---
cpe-gcc-native-12.2
cpe-gcc-native-13.1
...

# # --- CCE ---
cce-19.0.0
cce-19.0.0-binutils
...

# # --- CSML ---
cray-fftw-3.3.10.9
cray-hdf5-1.14.3.3
...

# # --- MPT ---
cray-dsmml-0.3.0
cray-mpich-8.1.31-cray180
...

# # --- TOOLS ---
atp-3.15.5
cray-ccdb-5.0.5
...

# # --- PrgEnv-amd ---
#cpe-descriptive-manifest-amd
#cpe-prgenv-amd
...

# # --- PrgEnv-aocc ---
#cpe-descriptive-manifest-aocc
#cpe-prgenv-aocc
...

# # --- PrgEnv-intel ---
#cpe-descriptive-manifest-intel
#cpe-prgenv-intel
...

# # --- PrgEnv-nvidia ---
#cpe-descriptive-manifest-nvidia
#cpe-prgenv-nvidia
...

# # --- HPCM (Do not remove) ---
sgi-cluster

    Important: HPCM 1.13 (and later) supports non-bootable images. These images do not require a kernel for HPCM 1.12 (and older) kernel packages will be required to build an image. In this case, make sure to add the appropriate kernel package for the target OS.

  5. Create a non-bootable CPE image using the modified CPE rpmlist and CPE recipe repository group. The default rpmlist from the CPE repository directory can also be used if no modifications were made.

    Important: The image name must follow the same pattern as the one shown in the example; otherwise, the image is not mounted later. Specifically, the image name must begin with cpe- and end with the OS and architecture. For example:

    • cpe-*-<os_name><os_major_version>_<os_minor_version>-<architecture>

    • cpe-25.3.3-rhel9_5-x86_64

    • cpe-25.3.3-rhel9_5-aarch64

    • cpe-26.3.1-rocky9_6-x86_64

    For the image name, note that flexibility is allowed for the cited version.

    Important: HPCM 1.13 introduced the –non-bootable option to build non-bootable images without a kernel. For HPCM 1.12 (and older), you must remove the –non-bootable option from the image create command.

    admin# cm image create --non-bootable \
-i ${CPE_IMAGE_NAME} \
--pkglist ${HOME}/cpe-${CPE_VERSION}.rpmlist \
--repo-group ${CPE_REPO_GROUP}

  6. Install the CPE defaults package into the image. This package sets all appropriate packages for the release as the default in the image.

    admin# cm image dnf -i ${CPE_IMAGE_NAME} --repo-group \
${CPE_REPO_GROUP} install cpe-defaults

  7. Activate the CPE image to create a squashfs file, which will be visible to the compute nodes:

    The kdump.server failure message can be safely ignored since the image is built without a kernel.

    admin# cm image activate -i ${CPE_IMAGE_NAME}

Enabling CPE in the boot image and provision nodes (RHEL)

Prerequisites

Procedure

For each compute and service node image to include CPE:

Note: Use the cm image show command to display available images.

  1. Import the RPM public key:

    admin# rpm --root /opt/clmgr/image/images/${BOOT_IMAGE_NAME} \
--import /opt/clmgr/repos/cm/${CPE_REPO}/*.public

  2. Install the cm-pe-integration and cpe-support RPMs, included in the CPE repository, into the image:

    admin# cm image dnf -i ${BOOT_IMAGE_NAME} install cm-pe-integration cpe-support

  3. (Optional) Set the default CPE image by modifying /opt/clmgr/image/images/${BOOT_IMAGE_NAME}/etc/cray-pe.d/pe_overlay.conf and setting the DEFAULT_IMAGE_NAME variable to the desired CPE image. For example:

    • If you are not installing a patch, optionally set the default CPE version by modifying /opt/clmgr/image/images/${BOOT_IMAGE_NAME}/etc/craype.d/pe_overlay.conf and setting the DEFAULT_IMAGE_VERSION variable to the desired CPE version.

      # Default image
#
# When two images own the same file, the default image will be used.
# If no image is specified the newest image version is used.
# Don't include .squashfs file extension

DEFAULT_IMAGE_NAME=cpe-25.03-rhel9_6-x86_64

    • If you are installing a patch (for example, cm-pe-integration-YY.MM-YYYYMMDDXXXXXX_XXXXxxXXXXXX RPM patch), optionally set the default CPE version by modifying /opt/clmgr/image/images/${BOOT_IMAGE_NAME}/etc/craype.d/pe_overlay.conf and setting the DEFAULT_IMAGE_VERSION variable to the desired CPE version. For example, to set the default to 24.11, enter:

      # Default image
#
# When two images own the same file, the default image will be used.
# If no image is specified the newest image version is used.
# The version should match the version string in the image filename.
# Example 1:
# Image: cpe-25.03-rhel-9-4-x86_64
# DEFAULT_IMAGE_VERSION=25.03
# Example 2:
# Image: cpe-base-rhel-9-4-x86_64-24.11
# DEFAULT_IMAGE_VERSION=24.11
#
DEFAULT_IMAGE_VERSION=24.11

  4. (Optional) For CPE releases before 25.03, modify /opt/clmgr/image/images/<IMAGE_NAME>/etc/cray-pe.d/pe_releases to indicate which CPE releases to install:

    21.09
21.07

    CAUTION: While this optional step makes allowances for previous CPE versions, use caution if implementing this step when updating your system. The CPE software suite follows specific configuration and support criteria for each specific CPE release. HPE does not guarantee support for systems and configurations outside of those officially supported for each release. HPE advises users to thoroughly review all documentation associated with each targeted release, along with stipulated support requirements. See the Support matrices for previous release and specific release announcements on the CPE Online Documentation website for this and other releases that may be applicable to you. If you have additional questions, contact HPE Support.

    Note: CPE version 25.03 (and later) should not be added to the /opt/clmgr/image/images/<IMAGE_NAME>/etc/craype.d/pe_releases file. If previous CPE versions are not needed after a CPE upgrade, remove the /opt/clmgr/image/images /<IMAGE_NAME>/etc/cray-pe.d/pe_releases file.

  5. (Optional) While you can use either the default CPE Module Environment system or Lmod on a site-wide basis (as the systems are mutually exclusive and cannot both run on the same system), set Lmod as the default module handling system in the image:

    a. In /opt/clmgr/image/images/${BOOT_IMAGE_NAME}/etc/cray-profile.d/cray-pe-configuration.csh, change the module_prog variable:

        ```screen
    set module_prog="environment modules"
    set module_prog="lmod"
    ```

    b. In /opt/clmgr/image/images/${BOOT_IMAGE_NAME}/etc/cray-profile.d/cray-pe-configuration.sh, change the module_prog variable:

    ```screen
module_prog="environment modules"
module_prog="lmod"
```

  6. (Optional) Update revision history with a comment if you are using HPCM image revision management:

    admin# cm image revision commit -i ${BOOT_IMAGE_NAME} -m "Update CPE to ${CPE_VERSION}"

  7. (For disk-less nodes) Activate the image:

    admin# cm image activate -i ${BOOT_IMAGE_NAME}

    See instructions for initializing an image in the HPE Performance Cluster Manager Administration Guide for all other node configurations.

  8. Reboot one compute node based on your system. For example:

    Diskless Node Example

    admin# cm node set -1 ${BOOT_IMAGE_NAME} -n nid0001
admin# cm power reboot -n nid0001

    or

    Diskful Node Example

    admin# cm node provision -i ${BOOT_IMAGE_NAME} -n nide0001

    See the HPE Performance Cluster Manager Administration Guide for reboot options for your specific environment.

  9. Connect to the booted compute node, and verify that CPE modules are loaded.

    Example:

    admin# ssh nid0001
nid0001# module list
Currently Loaded Modules:
1) craype-x86-rome          5) cce/17.0.0           9) cray-libsci/23.12.5
2) libfabric/1.15.2.0       6) craype/2.7.30       10) PrgEnv-cray/8.5.0
3) craype-network-ofi       7) cray-dsmml/0.2.2
4) perftools-base/23.12.0   8) cray-mpich/8.1.28

     See the HPE HPCM release announcement for current CPE release product versions on the [*CPE Online Documentation website*](https://cpe.ext.hpe.com/docs/latest/index.html).

Finally, reboot the remaining compute nodes on the system if the installation appears correct, and then disable the CPE repository after all images are updated:

admin# cm repo unselect ${CPE_REPO}

Configuring the ATP Slurm SPANK plugin (Conditional)

ATP requires a Slurm plugin to start analysis tools alongside job launches. Before CPE 22.10, ATP included a global Slurm plugin file. This global plugin file had to be recompiled to match the updated Slurm plugin API when Slurm was updated. To resolve this requirement, since CPE 22.10, ATP has been designed to build and configure its plugin as part of the module loading process instead of relying on a single global plugin. If your Slurm system is configured to use the global ATP Slurm plugin and job launches are working as expected, it is not necessary to remove it from the system configuration.

Note that the following error might occur:

srun: error: spank: /opt/cray/pe/atp/libAtpDispatch.so: Incompatible plugin version

If you see the above error when running Slurm jobs, remove the include /etc/plugstack.conf.d/* line from your Slurm plugin configuration file to disable the global ATP plugin. This modification disables the use of the potentially outdated ATP plugin. Users will still have the correct plugin built and configured when loading the ATP module.

Create Modulefiles for third-party products

Create a modulefile for third-party products and use crypkg-gen to create a modulefile for a specific version of a supported third-party product. This usage allows a site to set a specific version as default.

Prerequisites

Download and install third-party packages before initiating this procedure.

Procedure

The following steps are necessary and can be embedded in a script where a third-party product is being installed.

  1. Load craypkg-gen module:

    admin# source /opt/cray/pe/modules/default/init/bash
admin# module use /opt/cray/pe/modulefiles
admin# module load craypkg-gen

  2. Generate module and set default scripts for products:

    AMD Optimizing C/C++ Compiler: (requires craypkg-gen >= 1.3.16)

    admin# craypkg-gen -m /opt/AMD/aocc-compiler-<MODULE_VERSION>/

    NVIDIA HPC SDK (requires craypkg-gen >= 1.3.16)

    admin# craypkg-gen -m /opt/nvidia/hpc_sdk/Linux_x86_64/<MODULE_VERSION>/

    Intel oneAPI

    admin# craypkg-gen -m /opt/intel/oneapi/compiler/<MODULE_VERSION>/

    Note: The Intel compiler of the Intel OneAPI release needs to have been installed in a directory or a symbolic link that follows the <PREFIX>/oneapi/compiler/<VERSION> format be incorporated in order for craypkg-gen to create the Intel modulefiles. The craypkg-gen utility creates the intel and intel-oneapi modulefiles after the process completes successfully.

    AMD ROCm

    admin# craypkg-gen -m /opt/rocm-<MODULE_VERSION>

  3. Run a set default script.

    admin# /opt/admin-pe/set_default_craypkg/set_default_<MODULE_NAME>_<MODULE_VERSION>

About the Lmod Custom Dynamic Hierarchy

Lmod enables a user to dynamically modify their user environment through Lua modules. CPE capitalizes on the Lmod hierarchical structure, including the Lmod module auto-swapping functionality. This functionality allows module dependencies to determine the branches of the tree-like hierarchy. Lmod allows static and dynamic hierarchical module paths. Lmod provides full support for static paths, which build the hierarchy based on the current set of modules loaded. Alongside static paths, CPE implements dynamic paths for a subset of the Lmod hierarchy (compilers, networks, CPUs, and MPIs). Dynamic paths give an advanced level of flexibility for detecting multiple dependency paths and allow custom paths to join the existing CPE Lmod hierarchy without modifying customer modulefiles.

Static Lmod hierarchy

Modules dependent on one or more modules being loaded are not visible to a user until their prerequisite modules are loaded. When the prerequisite modules are loaded, it adds the static paths of the dependent modules to the MODULEPATH environment variable, thereby exposing the dependent modules to the user. For more detailed information on Lmod static module hierarchies, please consult User Guide for Lmod.

Dynamic Lmod hierarchy

The CPE custom dynamic Lmod hierarchy abbreviates the overall Lmod hierarchy tree by relying on compatibility and not directly on a prerequisite version. Therefore, dependent modules do not need to exist in a new branch every time their prerequisite modules change versions. Instead, dynamic paths use a compatibility version that increases when a new prerequisite module version breaks compatibility in some way. The number following the module path alias (for example, 1.0 in x86-rome/1.0 and ofi/1.0) identifies the compatible version.

Module Path Aliases and Current Compatibility Versions

Compatible versions listed in the following tables include the minimum supported versions.

Compiler

RHEL Module Alias/Compatible Version

SLES Module Alias/Compatible Version

amd

amd/7.0

amd/7.0

cce

crayclang/21.0

crayclang/21.0

gcc

gnu/10.0

gnu/12.0

aocc

aocc/4.1

aocc/4.1

intel

intel/2023.2

intel/2023.2

nvidia(x86)

nvidia/20

nvidia/20

Network

Module Alias/Compatible Version

craype-network-none

none/1.0

craype-network-ofi

ofi/1.0

craype-network-ucx

ucx/1.0

CPU

Module Alias/Compatible Version

craype-x86-milan

x86-milan/1.0

craype-x86-rome

x86-rome/1.0

craype-x86-trento

x86-trento/1.0

MPI

Module Alias/Compatible Version

cray-mpich

cray-mpich/8.0

cray-mpich-abi

cray-mpich/8.0

cray-mpich-abi-pre-intel-5.0

cray-mpich/8.0

cray-mpich-ucx

cray-mpich/8.0

cray-mpich-ucx-abi

cray-mpich/8.0

cray-mpich-ucx-abi-pre-intel-5.0

cray-mpich/8.0

Custom dynamic hierarchy

The CPE custom dynamic hierarchy extension allows custom module paths to join the existing CPE Lmod hierarchy implementation without modifying customer modulefiles. The custom dynamic module types that CPE supports include:

  • Compiler

  • Network

  • CPU

  • MPI

  • Compiler/Network

  • Compiler/CPU

  • Compiler/Network/CPU/MPI

As each custom dynamic module type loads, a handshake occurs using special pre-defined environment variables. When all hierarchical prerequisites are met, the paths of the dependent modulefiles are added to the MODULEPATH environment variable, thereby exposing the dependent modules to the user.

For Lmod to assist a user optimally, load the compiler, network, CPU, and MPI module. Lmod cannot detect modules hidden in dynamic paths without one of each type of module being loaded.

Creating a custom dynamic hierarchy

For the CPE custom dynamic hierarchy to detect the desired Lmod module path, one or more custom dynamic environment variables must be created according to the requirements defined within this procedure.

Prerequisites

Set Lmod as the default module handling system before initiating this procedure.

Procedure

To create a custom dynamic environment variable:

  1. Begin the environment variable name with LMOD_CUSTOM_.

  2. Append the descriptor of the module type that the environment variable will represent. The module types and descriptors are:

    Module Type

    Descriptor

    Compiler

    COMPILER_

    Network

    NETWORK_

    CPU

    CPU_

    MPI

    MPI_

    Compiler/Network

    COMNET_

    Compiler/CPU

    COMCPU_

    Compiler/Network/CPU/MPI

    CNCM_

    Example: The custom dynamic environment variable for the combined compiler and CPU module begins with LMOD_CUSTOM_COMCPU_.

  3. Following the descriptor, append all prerequisite module aliases along with their respective compatible versions. See the Module Path Aliases and Current Compatibility Versions section of this guide for more information. The format of the module path alias/compatible version string for each module type is shown below. Note that due to publishing issues, long module alias/compatible version strings are split across two lines as indicated below.

    Module Type: Module Path Alias/Compatible Version String

    Compiler: <compiler_name>/<compatible_version>

    Network: <network_name>/<compatible_version>

    CPU: <cpu_name>/<compatible_version>

    MPI:

    <compiler_name>/<compatible_version>/<network_name>/<compatible_version>/

    <mpi_name>/<compatible_version>

    Compiler/Network: <compiler_name>/<compatible_version/<network_name>/<compatible_version>

    Compiler/CPU: <compiler_name>/<compatible_version>/<cpu_name>/<compatible_version>

    Compiler/Network/CPU/MPI:

    <compiler_name>/<compatible_version>/<network_name>/<compatible_version>/

    <cpu_name>/<compatible_version>/<mpi_name>/<compatible_version>

    To create an acceptably formatted environment variable name, replace all slashes and dots in the module alias/compatible version string with underscores. Also, all letters must be in uppercase format.

    Example Module Path Alias/Compatible Version Strings:

    • Compiler = cce

      The path alias/compatible version string (values found in Module Path Aliases and Current Compatibility Versions section of this guide) is crayclang/10.0; therefore, the text added to the environment variable name is:

      CRAYCLANG_10_0

    • Network = craype-network-ofi

      The path alias/compatible version string is ofi/1.0; therefore, the environment variable text is:

      OFI_1_0

    • CPU = craype-x86-rome

      The path alias/compatible version string is x86-rome/1.0; therefore, the environment variable text is:

      X86_ROME_1_0

    • MPI = cray-mpich

      cray-mpich has two prerequisite module types (compiler and network). Therefore, the environment variable must include the alias/compatible version for the desired compiler, network, and MPI. For a cray-mpich module dependent on cce and craype-network-ofi, the path alias/compatible version string is crayclang/10.0/ofi/1.0/cray_mpich/8.0; therefore, the environment variable text is:

      CRAYCLANG_10_0_OFI_1_0_CRAY_MPICH_8_0.

    • Compiler/Network = cce with craype-network-ofi

      The path alias/compatible version string is crayclang/10.0/ofi/1.0; therefore, the environment variable text is:

      CRAYCLANG_10_0_OFI_1_0

    • Compiler/CPU = cce with craype-x86-rome

      The path alias/compatible version string is crayclang/10.0/x86-rome/1.0; therefore, the environment variable text is:

      CRAYCLANG_10_0_X86_ROME_1_0

    • Compiler/Network/CPU/MPI = cce, craype-network-ofi, craype-x86-rome, and cray-mpich

      The path alias/compatible version string is crayclang/10.0/ofi/1.0/x86-rome/1.0/cray-mpich/8.0; therefore, the environment variable text is:

      CRAYCLANG_10_0_OFI_1_0_X86_ROME_1_0_CRAY_MPICH_8_0

  4. Append _PREFIX following the final module/compatibility text instance:

    Example: Network = craype-network-ofi

    The custom dynamic environment variable is LMOD_CUSTOM_NETWORK_OFI_1_0_PREFIX.

    Creation of the custom dynamic environment variable is now complete.

  5. Add the custom dynamic environment variable to the user environment by exporting it with its value set to the Lmod module path:

    # export LMOD_CUSTOM_NETWORK_OFI_1_0_PREFIX=<lmod_module_path>

    Example: Network = craype-network-ofi

    All modulefiles in <lmod_module_path> are shown to users whenever craype-network-ofi is loaded.

Support matrices for previous releases

This chapter lists CPE-supported components, third-party software, and modules supported for applicable and previous releases of the CPE software. This information is provided for reference purposes.

CPE release matrices for SLES

CPE supports various SLES-based software components, including SLES for Aarch64 and x86 architectures. These components include compilers, libraries, debugging/profiling tools, programming models and so forth. Supported version of these components are updated with each release of CPE. This section lists which SLES-based component versions are supported for each CPE release.

SLES AArch64 support matrix

SLES with AArch64 systems is supported with CPE on HPE Cray Supercomputing EX systems with either CSM or HPCM. Below are product components, modules, third-party software versions supported with previous CPE releases with these configurations.

(D) represents the default version installed at installation.

* HPCM only

Release

CPE 25.09

CPE 25.09

CPE 25.03

CPE 25.03

24.11

24.11

24.07

Product

sles15sp7-aarch64 *

sles15sp6-aarch64

sles15sp6-aarch64

sles15sp5-aarch64

sles15sp5-aarch64

sles15sp6-aarch64

sles15sp5-aarch64

COS

25.9

25.9

25.3

24.7

25.1

24.7

24.7

COS Base

N/A

N/A

3.3.0

3.1.0

3.2.0

3.1.0

3.1.0

CSM

Not supported

1.7

1.6.1

1.6.1

1.6

1.6

1.5

HPCM

1.14

1.14

1.13

1.13

1.12

1.12

1.11

USS

1.4.0

1.4.0

1.3.0

1.1.0

1.2.0

1.1.0

1.1.0

amd

aocc

5.0

5.0

4.2

4.2

4.2**

atp

3.15.7 (D)

3.15.7 (D)

3.15.6 (D)

3.15.6 (D)

3.15.5 (D)

3.15.5 (D)

3.15.4 (D)

cce

20.0.0

20.0.0

19.0.0 (D)

19.0.0 (D)

18.0.1 (D)

18.0.1 (D)

18.0.0 (D)

cpe-gcc-mpfr

3.1.4 (D)

3.1.4 (D)

3.1.4 (D)

3.1.4 (D)

3.1.4 (D)

3.1.4 (D)

cpe-gcc-native

14.2 (D)

14.2 (D)

cpe-gcc-native

14 (D)

14 (D)

13.2

13.2

13.2 (D)

13.2 (D)

13.2 (D)

cpe-gcc-native

13

12.3

12.3

12.3

12.3

12.3

cpe-gcc-native

12

cpe-prgenv-amd

cpe-prgenv-aocc

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-cray

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

cpe-prgenv-cray-amd

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-gnu

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

cpe-prgenv-gnu-amd

cpe-prgenv-intel

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-nvhpc

8.5.0 (D)

cpe-prgenv-nvidia

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

cray-R

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

cray-ccdb

5.0.7 (D)

5.0.7 (D)

5.0.6 (D)

5.0.6 (D)

5.0.5 (D)

5.0.5 (D)

5.0.4 (D)

cray-cdst-support

2.14.6 (D)

2.14.6 (D)

2.14.5 (D)

2.14.5 (D)

2.14.3 (D)

cray-cti

2.20.0 (D)

2.20.0 (D)

2.19.1 (D)

2.19.1 (D)

2.19.0 (D)

2.19.0 (D)

2.18.4 (D)

cray-dsmml

0.3.1 (D)

0.3.1 (D)

0.3.1 (D)

0.3.0 (D)

0.3.0 (D)

0.3.0 (D)

0.3.0 (D)

cray-dwarf

2.0.0 (D)

2.0.0 (D)

0.11.1 (D)

0.11.1 (D)

0.11.0 (D)

0.11.0 (D)

0.9.2 (D)

cray-dyninst

12.3.6 (D)

12.3.6 (D)

12.3.5 (D)

12.3.5 (D)

12.3.4 (D)

12.3.4 (D)

12.3.2 (D)

cray-fftw

3.3.10.11 (D)

3.3.10.11 (D)

3.3.10.10 (D)

3.3.10.10 (D)

3.3.10.9 (D)

3.3.10.9 (D)

3.3.10.8 (D)

cray-hdf5

1.14.3.7 (D)

1.14.3.7 (D)

1.14.3.5 (D)

1.14.3.5 (D)

1.14.3.3 (D)

1.14.3.3 (D)

1.14.3.1 (D)

cray-libsci

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.11.0 (D)

24.07.0 (D)

cray-libsci-acc

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.11.0 (D)

24.07.0 (D)

cray-lmod

8.7.60 (D)

8.7.60 (D)

8.7.55 (D)

8.7.55 (D)

8.7.37 (D)

8.7.37 (D)

8.7.37 (D)

cray-modules

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

cray-mpich

8.1.33

8.1.33 (D)

8.1.32 (D)

8.1.32 (D)

8.1.31 (D)

8.1.31 (D)

8.1.30 (D)

cray-mpich

9.0.1 (D)

9.0.1 (D)

9.0.0

9.0.0

cray-mpixlate

1.0.7 (D)

1.0.7 (D)

1.0.6 (D)

1.0.6 (D)

1.0.5 (D)

cray-mrnet

5.1.6 (D)

5.1.6 (D)

5.1.5 (D)

5.1.5 (D)

5.1.4 (D)

5.1.4 (D)

5.1.3 (D)

cray-netcdf

4.9.2.1 (D)

4.9.2.1 (D)

4.9.0.17 (D)

4.9.0.17 (D)

4.9.0.15 (D)

4.9.0.15 (D)

4.9.0.13 (D)

cray-open-shmemx

11.7.5 (D)

11.7.5 (D)

11.7.4 (D)

11.7.3 (D)

11.7.3 (D)

11.7.3 (D)

11.7.2 (D)

cray-papi

7.2.0.2 (D)

7.2.0.2 (D)

7.2.0.1 (D)

7.2.0.1 (D)

7.1.0.4 (D)

7.1.0.4 (D)

7.1.0.2 (D)

cray-parallel-netcdf

1.12.3.19 (D)

1.12.3.19 (D)

1.12.3.17 (D)

1.12.3.17 (D)

1.12.3.15 (D)

1.12.3.15 (D)

1.12.3.13 (D)

cray-pe-set-default

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

cray-pmi

6.1.16 (D)

6.1.16 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

cray-pmi-devel

6.1.16

6.1.16

6.1.15

6.1.15

6.1.15

6.1.15

6.1.15

cray-pmi-doc

6.1.16

6.1.16

6.1.15

6.1.15

6.1.15

6.1.15

6.1.15

cray-python

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

cray-stat

3.11.7 (D)

4.12.6 (D)

4.12.5 (D)

4.12.5 (D)

4.12.4 (D)

4.12.4 (D)

4.12.3 (D)

cray-ucx

cray-zmqnet

1.3.2 (D)

1.3.2 (D)

1.3.0 (D)

1.3.0 (D)

1.0.0 (D)

1.0.0 (D)

craype

2.7.35 (D)

2.7.35 (D)

2.7.34 (D)

2.7.34 (D)

2.7.33 (D)

2.7.33 (D)

2.7.32 (D)

craype-dl-plugin-ftr

craype-dl-plugin-py3

24.07.1 (D)

24.07.1 (D)

24.07.1 (D)

24.07.1 (D)

24.07.1 (D)

craype-targets-ex

1.16.0 (D)

1.16.0 (D)

1.15.1 (D)

1.15.1 (D)

1.15.0 (D)

1.15.0 (D)

1.13.2 (D)

craypkg-gen

1.3.36 (D)

1.3.36 (D)

1.3.35 (D)

1.3.35 (D)

1.3.34 (D)

1.3.34 (D)

1.3.33 (D)

forgesup

24.1.1

24.1.1

23.1.2

23.1.2

23.1.2

gdb4hpc

4.16.5 (D)

4.16.5 (D)

4.16.4 (D)

4.16.4 (D)

4.16.3 (D)

4.16.3 (D)

4.16.2 (D)

intel

lmod_scripts

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

nvhpc

24.3 (D)

nvidia

25.5 (D)

25.5 (D)

24.3 (D)

24.3 (D)

24.3 (D)

24.3 (D)

24.3 (D)

perftools

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.11.0 (D)

24.07.0 (D)

rocm

6.3.0

6.3.0

6.2.1

6.2.1

6.1.0 (D)

saniti-zers4hpc

1.1.6 (D)

1.1.6 (D)

1.1.5 (D)

1.1.5 (D)

1.1.4 (D)

1.1.4 (D)

1.1.3 (D)

total-viewsup

2024.4.0

2024.4.0

2024.1.21

2024.1.21

2024.1.21

val-grind4hpc

2.13.6 (D)

2.13.6 (D)

2.13.5 (D)

2.13.5 (D)

2.13.4 (D)

2.13.4 (D)

2.13.3 (D)

SLES X86 support matrix

SLES on X86 systems is supported with CPE on HPE Cray Supercomputing EX systems with either CSM or HPCM. Below are product components, modules, third-party software versions supported with previous CPE releases with these configurations.

(D) represents the default version installed at installation.

* HPCM only

Release

CPE 25.09

CPE 25.09

CPE 25.03

CPE 25.03

24.11

24.11

24.07

Product/Version

sles15sp7 *

sles15sp6

sles15sp6

sles15sp5

sles15sp6

sles15sp5

sles15sp5

COS

25.9

25.9

25.1

24.7

24.7

COS Base

N/A

N/A

3.3.0

3.1.0

3.2.0

3.1.0

3.1.0

CSM

Not supported

1.7

1.6.1

1.6.1

1.6

1.6

1.5

HPCM

1.14

1.14

1.13

1.13

1.12

1.12

1.11

USS

1.4.0

1.4.0

1.3.0

1.1.0

1.2.0

1.1.0

1.1.0

amd

6.4.1 (D)

6.4.1 (D)

6.2.1 (D)

6.2.1 (D)

6.2.1 (D)

6.2.1 (D)

aocc

5.0.0 (D)

5.0.0 (D)

5.0.0 (D)

5.0.0 (D)

4.2.0 (D)

4.2.0 (D)

4.2.0 (D)

atp

3.15.7 (D)

3.15.7 (D)

3.15.6 (D)

3.15.6 (D)

3.15.5 (D)

3.15.5 (D)

3.15.4 (D)

cce

20.0.0

20.0.0

19.0.0 (D)

19.0.0 (D)

18.0.1 (D)

18.0.1 (D)

18.0.0 (D)

cpe-gcc-mpfr

3.1.4 (D)

3.1.4 (D)

3.1.4 (D)

3.1.4 (D)

3.1.4 (D)

cpe-gcc-native

14.2 (D)

14.2 (D)

cpe-gcc-native

14 (D)

14

13.2

13.2

13.2 (D)

13.2 (D)

13.2 (D)

cpe-gcc-native

13

12.3

12.3

12.3

12.3

12.3

cpe-gcc-native

12

12.3

cpe-prgenv-amd

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-aocc

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-cray

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-cray-amd

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-gnu

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-gnu-amd

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-intel

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-nvidia

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

4.4.0 (D)

4.4.0 (D)

8.5.0 (D)

cray-R

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

cray-ccdb

5.0.7 (D)

5.0.7 (D)

5.0.6 (D)

5.0.6 (D)

5.0.5 (D)

5.0.5 (D)

5.0.4 (D)

cray-cdst-support

2.14.6 (D)

2.14.6 (D)

2.14.5 (D)

2.14.5 (D)

2.14.3 (D)

cray-cti

2.20.0 (D)

2.20.0 (D)

2.19.1 (D)

2.19.1 (D)

2.19.0 (D)

2.19.0 (D)

2.18.4 (D)

cray-dsmml

0.3.1 (D)

0.3.1 (D)

0.3.1 (D)

0.3.1 (D)

0.3.0 (D)

0.3.0 (D)

0.3.0 (D)

cray-dwarf

2.0.0 (D)

2.0.0 (D)

0.11.1 (D)

0.11.1 (D)

0.11.0 (D)

0.11.0 (D)

0.9.2 (D)

cray-dyninst

12.3.6 (D)

12.3.6 (D)

12.3.5 (D)

12.3.5 (D)

12.3.4 (D)

12.3.4 (D)

12.3.2 (D)

cray-fftw

3.3.10.11 (D)

3.3.10.11 (D)

3.3.10.10 (D)

3.3.10.10 (D)

3.3.10.9 (D)

3.3.10.9 (D)

3.3.10.8 (D)

cray-hdf5

1.14.3.7 (D)

1.14.3.7 (D)

1.14.3.5 (D)

1.14.3.5 (D)

1.14.3.3 (D)

1.14.3.3 (D)

1.14.3.1 (D)

cray-libsci

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.11.0 (D)

24.07.0 (D)

cray-libsci-acc

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.11.0 (D)

24.07.0 (D)

cray-lmod

8.7.60 (D)

8.7.60 (D)

8.7.55 (D)

8.7.55 (D)

8.7.37 (D)

8.7.37 (D)

8.7.37 (D)

cray-modules

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

cray-mpich

8.1.33

8.1.33

8.1.32 (D)

8.1.32 (D)

8.1.31 (D)

8.1.31 (D)

8.1.30 (D)

cray-mpich

9.0.1

9.0.1

9.0.0

9.0.0

cray-mpixlate

1.0.7 (D)

1.0.7 (D)

1.0.6 (D)

1.0.6 (D)

1.0.5 (D)

cray-mrnet

5.1.6 (D)

5.1.6 (D)

5.1.5 (D)

5.1.5 (D)

5.1.4 (D)

5.1.4 (D)

5.1.3 (D)

cray-netcdf

4.9.2.1 (D)

4.9.2.1 (D)

4.9.0.17 (D)

4.9.0.17 (D)

4.9.0.15 (D)

4.9.0.15 (D)

4.9.0.13 (D)

cray-open-shmemx

11.7.5 (D)

11.7.5 (D)

11.7.4 (D)

11.7.4 (D)

11.7.3 (D)

11.7.3 (D)

11.7.2 (D)

cray-pals

1.3.2

cray-papi

7.2.0.2 (D)

7.2.0.2 (D)

7.2.0.1 (D)

7.2.0.1 (D)

7.1.0.4 (D)

7.1.0.4 (D)

7.1.0.2 (D)

cray-parallel-netcdf

1.12.3.19 (D)

1.12.3.19 (D)

1.12.3.17 (D)

1.12.3.17 (D)

1.12.3.15 (D)

1.12.3.15 (D)

1.12.3.13 (D)

cray-pe-set-default

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

cray-pmi

6.1.16 (D)

6.1.16 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

cray-pmi-devel

6.1.16

6.1.16

6.1.15

6.1.15

6.1.15

6.1.15

6.1.15

cray-pmi-doc

6.1.16

6.1.16

6.1.15

6.1.15

6.1.15

6.1.15

6.1.15

cray-python

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

cray-stat

4.12.6 (D)

4.12.6 (D)

4.12.5 (D)

4.12.5 (D)

4.12.4 (D)

4.12.4 (D)

4.12.3 (D)

cray-ucx

2.12.0 (D)

2.12.0 (D)

2.12.0 (D)

2.12.0 (D)

2.12.0 (D)

cray-zmqnet

1.3.2 (D)

1.3.2 (D)

1.3.1 (D)

1.3.1 (D)

1.0.0 (D)

1.0.0 (D)

craype

2.7.35 (D)

2.7.35 (D)

2.7.34 (D)

2.7.34 (D)

2.7.33 (D)

2.7.33 (D)

2.7.32 (D)

craype-dl-plugin-ftr

22.06.1.2 (D)

22.06.1.2 (D)

22.06.1.2 (D)

22.06.1.2 (D)

22.06.1.2 (D)

craype-dl-plugin-py3

21.04.1

21.04.1

21.04.1

21.04.1

21.04.1

craype-dl-plugin-py3

22.06.1.2

22.06.1.2

22.06.1.2

22.06.1.2

22.06.1.2

craype-dl-plugin-py3

22.08.1

22.08.1

22.08.1

22.08.1

22.08.1

craype-dl-plugin-py3

22.09.1

22.09.1

22.09.1

22.09.1

22.09.1

craype-dl-plugin-py3

22.12.1

22.12.1

22.12.1

22.12.1

22.12.1

craype-dl-plugin-py3

23.09.1

23.09.1

23.09.1

23.09.1

23.09.1

craype-dl-plugin-py3

24.03.1 (D)

24.03.1 (D)

24.03.1 (D)

24.03.1 (D)

24.03.1 (D)

craype-targets-ex

1.16.0 (D)

1.16.0 (D)

1.15.1 (D)

1.15.1 (D)

1.15.0 (D)

1.15.0 (D)

1.13.2 (D)

craypkg-gen

1.3.36 (D)

1.3.36 (D)

1.3.35 (D)

1.3.35 (D)

1.3.34 (D)

1.3.34 (D)

1.3.33 (D)

forgesup

24.1.1

24.1.1

23.1.2

23.1.2

23.1.2

gdb4hpc

4.16.5 (D)

4.16.5 (D)

4.16.4 (D)

4.16.4 (D)

4.16.3 (D)

4.16.3 (D)

4.16.2 (D)

intel

2025.1 (D)

2025.1 (D)

2025.0 (D)

2025.0 (D)

2024.2 (D)

2024.2 (D)

2024.0 (D)

lmod_scripts

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

nvhpc

24.3 (D)

nvidia

25.5 (D)

25.5 (D)

24.3 (D)

24.3 (D)

24.3 (D)

24.3 (D)

24.3 (D)

perftools

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.11.0 (D)

24.07.0 (D)

rocm

6.4.1 (D)

6.4.1 (D)

6.3.0

6.3.0

6.2.1

6.2.1

6.1.0 (D)

saniti-zers4hpc

1.1.6 (D)

1.1.6 (D)

1.1.5 (D)

1.1.5 (D)

1.1.4 (D)

1.1.4 (D)

1.1.3 (D)

total-viewsup

2024.4.0

2024.4.0

2024.1.21

2024.1.21

2024.1.21

val-grind4hpc

2.13.6 (D)

2.13.6 (D)

2.13.5 (D)

2.13.5 (D)

2.13.4 (D)

2.13.4 (D)

2.13.3 (D)

CPE release matrices for RHEL

CPE supports various RHEL-based software components, including SLES for Aarch64 and x86 architectures. These components include compilers, libraries, debugging/profiling tools, programming models and so forth. Supported version of these components are updated with each release of CPE. This section lists which RHEL-based component versions are supported for each CPE release.

RHEL AArch64 support matrix

RHEL on AArch64 systems is supported with CPE on HPE Cray Supercomputing EX systems with HPCM. Below are product components, modules, third-party software versions supported with previous CPE releases with these configurations.

(D) represents the default version installed at installation.

Release

CPE 25.09

CPE 25.09

CPE 25.03

CPE 25.03

24.11

24.07

rhel96

rhel95

rhel95

rhel94

rhel94

rhel94

Product

aarch64

aarch64

aarch64

aarch64

aarch64

aarch64

HPCM

1.13

1.13

1.12

1.11

amd

6.2.1 (D)

6.2.1 (D)

6.2.1 (D)

6.2.1 (D)

aocc

5.0.0 (D)

5.0.0 (D)

5.0.0 (D)

4.2.0 (D)

atp

3.15.7 (D)

3.15.7 (D)

3.15.6 (D)

3.15.6 (D)

3.15.5 (D)

3.15.4 (D)

cce

20.0.0

20.0.0

19.0.0 (D)

19.0.0 (D)

18.0.1 (D)

18.0.0 (D)

cpe-gcc-mpfr

cpe-gcc-native

cpe-gcc-native

14.2 (D)

cpe-gcc-native

14 (D)

14 (D)

13.3

13.2 (D)

13.2 (D)

13.2 (D)

cpe-gcc-native

13

12.2

12.2

12.2

12.2

cpe-gcc-native

12

cpe-prgenv-amd

cpe-prgenv-aocc

cpe-prgenv-cray

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-cray-amd

cpe-prgenv-gnu

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cpe-prgenv-gnu-amd

cpe-prgenv-intel

cpe-prgenv-nvidia

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

cray-R

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

cray-ccdb

5.0.7 (D)

5.0.7 (D)

5.0.6 (D)

5.0.6 (D)

5.0.5 (D)

5.0.4 (D)

cray-cdst-support

2.14.6 (D)

2.14.6 (D)

2.14.5 (D)

2.14.3 (D)

cray-cti

2.20.0 (D)

2.20.0 (D)

2.19.1 (D)

2.19.1 (D)

2.19.0 (D)

2.18.4 (D)

cray-cti

cray-dsmml

0.3.1 (D)

0.3.1 (D)

0.3.1 (D)

0.3.1 (D)

0.3.0 (D)

0.3.0 (D)

cray-dwarf

2.0.0 (D)

2.0.0 (D)

0.11.1 (D)

0.11.1 (D)

0.11.0 (D)

0.9.2 (D)

cray-dyninst

12.3.6 (D)

12.3.6 (D)

12.3.5 (D)

12.3.5 (D)

12.3.4 (D)

12.3.2 (D)

cray-fftw

3.3.10.11 (D)

3.3.10.11 (D)

3.3.10.10 (D)

3.3.10.10 (D)

3.3.10.9 (D)

3.3.10.8 (D)

cray-hdf5

1.14.3.7 (D)

1.14.3.7 (D)

1.14.3.5 (D)

1.14.3.5 (D)

1.14.3.3 (D)

1.14.3.1 (D)

cray-libsci

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.07.0 (D)

cray-libsci-acc

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.07.0 (D)

cray-lmod

8.7.60 (D)

8.7.60 (D)

8.7.55 (D)

8.7.55 (D)

8.7.37 (D)

8.7.37 (D)

cray-modules

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

cray-mpich

9.0.1 (D)

9.0.1 (D)

cray-mpich

9.0.0

9.0.0

cray-mpich

8.1.33

8.1.33

8.1.32 (D)

8.1.32 (D)

8.1.31 (D)

8.1.30 (D)

cray-mpixlate

1.0.7 (D)

1.0.7 (D)

1.0.6 (D)

1.0.5 (D)

cray-mrnet

5.1.6 (D)

5.1.6 (D)

5.1.5 (D)

5.1.5 (D)

5.1.4 (D)

5.1.3 (D)

cray-netcdf

4.9.2.1 (D)

4.9.2.1 (D)

4.9.0.17 (D)

4.9.0.17 (D)

4.9.0.15 (D)

4.9.0.13 (D)

cray-openshmemx

11.7.5 (D)

11.7.5 (D)

11.7.4 (D)

11.7.4 (D)

11.7.3 (D)

11.7.2 (D)

cray-papi

7.2.0.2 (D)

7.2.0.2 (D)

7.2.0.1 (D)

7.2.0.1 (D)

7.1.0.4 (D)

7.1.0.2 (D)

cray-parallel-netcdf

1.12.3.19 (D)

1.12.3.19 (D)

1.12.3.17 (D)

1.12.3.17 (D)

1.12.3.15 (D)

1.12.3.13 (D)

cray-pe-set-default

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

cray-pmi

6.1.16 (D)

6.1.16 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

cray-pmi-devel

6.1.16

6.1.16

6.1.15

6.1.15

6.1.15

6.1.15

cray-pmi-doc

6.1.16

6.1.16

6.1.15

6.1.15

6.1.15

6.1.15

cray-python

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

cray-stat

4.12.6 (D)

4.12.6 (D)

4.12.5 (D)

4.12.5 (D)

4.12.4 (D)

4.12.3 (D)

cray-ucx

cray-zmqnet

1.3.2 (D)

1.3.2 (D)

1.3.0 (D)

1.3.0 (D)

1.0.0 (D)

craype

2.7.35 (D)

2.7.35 (D)

2.7.34 (D)

2.7.34 (D)

2.7.33 (D)

2.7.32 (D)

craype-dl-plugin-ftr

craype-dl-plugin-py3

craype-targets-ex

craypkg-gen

1.3.36 (D)

1.3.36 (D)

1.3.35 (D)

1.3.35 (D)

forgesup

24.1.1

24.1.1

gdb4hpc

4.16.5 (D)

4.16.5 (D)

4.16.4 (D)

4.16.4 (D)

4.16.3 (D)

4.16.2 (D)

intel

2025.0 (D)

2025.0 (D)

2025.0 (D)

2024.2 (D)

lmod_scripts

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

nvhpc

24.3 (D)

nvidia

25.5 (D)

25.5 (D)

24.3 (D)

24.3 (D)

24.3 (D)

24.3 (D)

perftools

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.07.0 (D)

rocm

6.3.0

6.3.0

6.2.1

6.1.0 (D)

sanitizers4hpc

1.1.6 (D)

1.1.6 (D)

1.1.5 (D)

1.1.5 (D)

1.1.4 (D)

1.1.3 (D)

totalviewsup

2024.4.0

2024.4.0

2024.1.21

2024.1.21

valgrind4hpc

2.13.6 (D)

2.13.6 (D)

2.13.5 (D)

2.13.5 (D)

2.13.4 (D)

2.13.3 (D)

RHEL X86 support matrix

RHEL on X86 systems is supported with CPE on HPE Cray Supercomputing EX systems with HPCM. Below are product components, modules, third-party software versions supported with previous CPE releases with these configurations.

(D) represents the default version installed at installation.

Release

25.09

25.09

25.09

25.03

25.03

25.03

24.11

24.11

24.07

24.07

rhel96

rhel95

rhel810

rhel95

rhel94

rhel810

rhel94

rhel810

rhel94

rhel810

Product

(X86)

(X86)

(X86)

(X86)

(X86)

(X86)

(X86)

(X86)

(X86)

HPCM

1.14

1.14

1.14

1.13

1.13

1.13

1.12

1.12

1.12

1.11

amd

6.4.1 (D)

6.4.1 (D)

6.4.1 (D)

6.2.1 (D)

6.2.1 (D)

6.2.1 (D)

6.2.1 (D)

6.2.1 (D)

6.2.1 (D)

6.2.1 (D)

aocc

5.0.0 (D)

5.0.0 (D)

5.0.0 (D)

5.0.0 (D)

5.0.0 (D)

5.0.0 (D)

4.2.0 (D)

4.2.0 (D)

4.2.0 (D)

4.2.0 (D)

atp

3.15.7 (D)

3.15.7 (D)

3.15.7 (D)

3.15.6 (D)

3.15.6 (D)

3.15.6 (D)

3.15.5 (D)

3.15.5 (D)

3.15.4 (D)

3.15.4 (D)

cce

20.0.0

20.0.0

20.0.0

19.0.0 (D)

19.0.0 (D)

19.0.0 (D)

18.0.1 (D)

18.0.1 (D)

18.0.0 (D)

18.0.0 (D)

cpe-gcc-mpfr

cpe-gcc-native

12 (D)

13 (D)

cpe-gcc-native

14 (D)

12

10.3

cpe-gcc-native

14 (D)

13

cpe-gcc-native

12.2

12.2

10.3

12.2

10.3

12.2

10.3

cpe-gcc-native

13.3

13.2 (D)

11.2

13.2 (D)

11.2

13.2 (D)

11.2

cpe-gcc-native

14.2 (D)

12.2

cpe-prgenv-amd

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

8.5.0 (D)

cpe-prgenv-aocc

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

8.5.0 (D)

cpe-prgenv-cray

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

8.5.0 (D)

cpe-prgenv-cray-amd

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

8.5.0 (D)

cpe-prgenv-gnu

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

8.5.0 (D)

cpe-prgenv-gnu-amd

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

8.5.0 (D)

cpe-prgenv-intel

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

8.5.0 (D)

cpe-prgenv-nvhpc

8.5.0 (D)

8.5.0 (D)

cpe-prgenv-nvidia

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

8.5.0 (D)

8.5.0 (D)

cray-R

8.6.0 (D)

8.6.0 (D)

8.6.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

4.4.0 (D)

cray-ccdb

5.0.7 (D)

5.0.7 (D)

5.0.7 (D)

5.0.6 (D)

5.0.6 (D)

5.0.6 (D)

5.0.5 (D)

5.0.5 (D)

5.0.4 (D)

5.0.4 (D)

cray-cdst-support

2.14.6 (D)

2.14.6 (D)

2.14.6 (D)

2.14.5 (D)

2.14.5 (D)

2.14.3 (D)

2.14.3 (D)

cray-cti

2.20.0 (D)

2.20.0 (D)

2.20.0 (D)

2.19.1 (D)

2.19.1 (D)

2.19.1 (D)

2.19.0 (D)

2.19.0 (D)

2.18.4 (D)

2.18.4 (D)

cray-dsmml

0.3.1 (D)

0.3.1 (D)

0.3.1 (D)

0.3.1 (D)

0.3.1 (D)

0.3.1 (D)

0.3.0 (D)

0.3.0 (D)

0.3.0 (D)

0.3.0 (D)

cray-dwarf

2.0.0 (D)

2.0.0 (D)

2.0.0 (D)

0.11.1 (D)

0.11.1 (D)

0.11.1 (D)

0.11.0 (D)

0.11.0 (D)

0.9.2 (D)

0.9.2 (D)

cray-dyninst

12.3.6 (D)

12.3.6 (D)

12.3.6 (D)

12.3.5 (D)

12.3.5 (D)

12.3.5 (D)

12.3.4 (D)

12.3.4 (D)

12.3.2 (D)

12.3.2 (D)

cray-fftw

3.3.10.11 (D)

3.3.10.11 (D)

3.3.10.11 (D)

3.3.10.10 (D)

3.3.10.10 (D)

3.3.10.10 (D)

3.3.10.9 (D)

3.3.10.9 (D)

3.3.10.8 (D)

3.3.10.8 (D)

cray-hdf5

1.14.3.7 (D)

1.14.3.7 (D)

1.14.3.7 (D)

1.14.3.5 (D)

1.14.3.5 (D)

1.14.3.3 (D)

1.14.3.3 (D)

1.14.3.5 (D)

1.14.3.1 (D)

1.14.3.1 (D)

cray-libsci

25.09.0 (D)

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.11.0 (D)

24.07.0 (D)

24.07.0 (D)

cray-libsci-acc

25.09.0 (D)

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.11.0 (D)

24.07.0 (D)

24.07.0 (D)

cray-lmod

8.7.60 (D)

8.7.60 (D)

8.7.60 (D)

8.7.55 (D)

8.7.55 (D)

8.7.55 (D)

8.7.37 (D)

8.7.37 (D)

8.7.37 (D)

8.7.37 (D)

cray-modules

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

3.2.11.7 (D)

cray-mpich

8.1.33

8.1.33

8.1.33

8.1.32 (D)

8.1.32 (D)

8.1.32 (D)

8.1.31 (D)

8.1.31 (D)

8.1.30 (D)

8.1.30 (D)

cray-mpich

9.0.1 (D)

9.0.1 (D)

9.0.1 (D)

9.0.0

9.0.0

9.0.0

cray-mpixlate

1.0.7 (D)

1.0.7 (D)

1.0.7 (D)

1.0.6 (D)

1.0.6 (D)

1.0.5 (D)

1.0.5 (D)

cray-mrnet

5.1.6 (D)

5.1.6 (D)

5.1.6 (D)

5.1.5 (D)

5.1.5 (D)

5.1.5 (D)

5.1.4 (D)

5.1.4 (D)

5.1.3 (D)

5.1.3 (D)

cray-netcdf

4.9.2.1 (D)

4.9.2.1 (D)

4.9.2.1 (D)

4.9.0.17 (D)

4.9.0.17 (D)

4.9.0.17 (D)

4.9.0.15 (D)

4.9.0.15 (D)

4.9.0.13 (D)

4.9.0.13 (D)

cray-open-shmemx

11.7.5 (D)

11.7.5 (D)

11.7.5 (D)

1.12.3.17 (D)

1.12.3.17 (D)

1.12.3.17 (D)

1.12.3.15 (D)

1.12.3.15 (D)

1.12.3.13 (D)

1.12.3.13 (D)

cray-papi

7.2.0.2 (D)

7.2.0.2 (D)

7.2.0.2 (D)

7.2.0.1 (D)

7.2.0.1 (D)

7.2.0.1 (D)

7.1.0.4 (D)

7.1.0.4 (D)

7.1.0.2 (D)

7.1.0.2 (D)

cray-parallel-netcdf

1.12.3.19 (D)

1.12.3.19 (D)

1.12.3.19 (D)

1.12.3.17 (D)

1.12.3.17 (D)

1.12.3.17 (D)

1.12.3.15 (D)

1.12.3.15 (D)

1.12.3.13 (D)

1.12.3.13 (D)

cray-pe-set-default

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

3.3 (D)

cray-pmi

6.1.16 (D)

6.1.16 (D)

6.1.16 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

6.1.15 (D)

cray-pmi-devel

6.1.16 (D)

6.1.16 (D)

6.1.16 (D)

6.1.15

6.1.15

6.1.15

6.1.15

6.1.15

6.1.15

6.1.15

cray-pmi-doc

6.1.16 (D)

6.1.16 (D)

6.1.16 (D)

6.1.15

6.1.15

6.1.15

6.1.15

6.1.15

6.1.15

6.1.15

cray-python

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

3.11.7 (D)

cray-stat

4.12.6 (D)

4.12.6 (D)

4.12.6 (D)

4.12.5 (D)

4.12.5 (D)

4.12.5 (D)

4.12.4 (D)

4.12.4 (D)

4.12.3 (D)

4.12.3 (D)

cray-zmqnet

1.3.2 (D)

1.3.2 (D)

1.3.2 (D)

1.3.0 (D)

1.3.0 (D)

1.3.0 (D)

1.0.0 (D)

1.0.0 (D)

craype

2.7.35 (D)

2.7.35 (D)

2.7.35 (D)

2.7.34 (D)

2.7.34 (D)

2.7.34 (D)

2.7.33 (D)

2.7.33 (D)

2.7.32 (D)

2.7.32 (D)

craype-dl-plugin-ftr

22.06.1.2 (D)

22.06.1.2 (D)

22.06.1.2 (D)

craype-dl-plugin-py3

21.02.1.3

21.02.1.3

21.02.1.3

craype-dl-plugin-py3

22.09.1

22.09.1

22.09.1

craype-dl-plugin-py3

22.12.1 (D)

22.12.1 (D)

22.12.1 (D)

craype-targets-ex

craypkg-gen

1.3.36 (D)

1.3.36 (D)

1.3.36 (D)

1.3.35 (D)

1.3.35 (D)

1.3.35 (D)

1.3.34 (D)

1.3.34 (D)

1.3.33 (D)

1.3.33 (D)

forgesup

24.1.1

24.1.1

24.1.1

gdb4hpc

4.16.5 (D)

4.16.5 (D)

4.16.5 (D)

4.16.4 (D)

4.16.4 (D)

4.16.4 (D)

4.16.3 (D)

4.16.3 (D)

4.16.2 (D)

4.16.2 (D)

intel

2025.1 (D)

2025.1 (D)

2025.1 (D)

2025.0 (D)

2025.0 (D)

2025.0 (D)

2024.2 (D)

2024.2 (D)

2024.0 (D)

2024.0 (D)

lmod_-scripts

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

3.2.1 (D)

nvhpc

24.3 (D)

24.3 (D)

nvidia

25.5 (D)

25.5 (D)

25.5 (D)

24.3 (D)

24.3 (D)

24.3 (D)

24.3 (D)

24.3 (D)

24.3 (D)

24.3 (D)

perftools

25.09.0 (D)

25.09.0 (D)

25.09.0 (D)

25.03.0 (D)

25.03.0 (D)

25.03.0 (D)

24.11.0 (D)

24.11.0 (D)

24.07.0 (D)

24.07.0 (D)

rocm

6.4.1 (D)

6.4.1 (D)

6.4.1 (D)

6.3.0

6.3.0

6.2.1

6.1.0 (D)

6.1.0 (D)

6.1.0 (D)

6.1.0 (D)

saniti-zers4hpc

1.1.6 (D)

1.1.6 (D)

1.1.6 (D)

1.1.5 (D)

1.1.5 (D)

1.1.5 (D)

1.1.4 (D)

1.1.4 (D)

1.1.3 (D)

1.1.3 (D)

total-viewsup

2024.4.0

2024.4.0

2024.4.0

2024.1.21

2024.1.21

2024.1.21

2024.1.21

val-grind4hpc

2.13.6 (D)

2.13.6 (D)

2.13.6 (D)

2.13.5 (D)

2.13.5 (D)

2.13.5 (D)

2.13.4 (D)

2.13.4 (D)

2.13.3 (D)

2.13.3 (D)

Documentation and support

Documentation is available as a resource for using and managing CPE. This chapter provides details for obtaining CPE support and accessing available resources.

CPE installation and getting started guides

HPE CPE documentation comprises user and installation guides:

Title

Document Part Number

HPE Cray Supercomputing Programming Environment Installation Guide: CSM on HPE Cray Supercomputing EX Systems

S-8003

HPE Cray Supercomputing Programming Environment Installation Guide: HPCM on HPE Cray Supercomputing EX and HPE Cray Supercomputing Systems

S-8022

HPE Cray Supercomputing Programming Environment Installation Guide: HPE Cray XD2000 Systems

S-8012

HPE Cray Supercomputing Programming Environment Getting Started User Guide: HPE Cray Supercomputing EX Systems

S-9934

HPE Cray Supercomputing Programming Environment Getting Started Administrator Guide: HPE Cray Supercomputing EX Systems

S-9935

Other documentation resources

HPE provides CPE documentation and support through various online sources:

Published: April 2026