Difference between revisions of "CalcoloScientifico"

Revision as of 15:20, 15 January 2018

User (E. Mazzoni)

Note sull'uso delle risorse di Calcolo Scientifico di INFN-Pisa

Introduzione

Queste pagine wiki raccolgono alcune note circa l'uso dell'Infrastruttura di Calcolo Scientifico delle sezione INFN Pisa. Le risorse disponibili si dividono in HPC e HTC, in entrambi i casi l'uso delle risorse è mediato dal sistema di batch LSF. L'accesso avviene attraverso macchine di login pubblico chiamate User Interface che, grazie alla infrastruttura di AAI, possono essere utilizzate da tutto il personale INFN (dipendente o associato) che abbia un account in una qualsiasi sezione dell'istituto.

Accesso

Prima di potersi collegare ad una qualsiasi delle User Interface è necessario inizializzare il proprio account, per fare questo sarà sufficiente fare login sulla macchina setupui.pi.infn.it

    nbenrico:~> ssh username@setupui.pi.infn.it
    username@setupui.pi.infn.it's password:
 
    Last login: Sat Dec 23 22:34:48 2017 from 151.29.129.119

    !!! ATTENZIONE: il tuo account sarà attivo entro 5 minuti da ora. !!!

    Da questo momento in poi per accedere alle risorse di Calcolo Scientifico presenti a Pisa
    e' necessario fare login su ....

    gridui.pi.infn.it

    oppure

    localui.pi.infn.it

    !!! ATTENTION: your account will be active in 5 minuts from now. !!!

    From now on to get access to the INFN-Pisa Scientific Computing resources you must login on ....

    gridui.pi.infn.it

    or

    localui.pi.infn.it

    Buon Lavoro

    Connection to setupui.pi.infn.it closed.

eseguita questa inizializzazione sarà possibile accedere alle User Interface attraverso l'alias gridui.pi.infn.it è possibile autenticarsi attraverso varimeccanismi:

• username e password: meccanismo disponibile sia per utenti di INFN-Pisa che di altre sezioni, si usano le credeziali della propria sede (le solite utilizzate per autenticarsi via AAI al portale del Sistema Informativo)

 nbenrico:~> ssh username@gridui.pi.infn.it
 username@gridui.pi.infn.it's password: 

 ----------------------------------------------------------
 | Welcome to the INFN-Pisa Public Grid UI Service, SL 6.9
 | 
 | IP will be banned for at least 1h after 5 failed logins!
 |
 | To get help: grid-prod@lists.pi.infn.it
 ----------------------------------------------------------

 [username@gridui2 ~]$

• con chiavi ssh: meccanismo disponibile per tutti gli utenti che consiste nel copiare la parte pubblica delle proprie chiavi ssh nel file .ssh/authorized_keys per poter sfruttare questo meccanismo è comunque necessario un primo login con un altro metodo
• kerberos5: meccanismo disponibile solo per gli utenti che abbiano un account a Pisa e che si colleghino partendo da una macchian con il client kerberos 5 installato. Il meccanismo è particolarmente sicuro perché non c'è la trasmissione della propria password in rete, prevede la creazione del proprio ticket kerberos sulla macchina da cui ci si collega e quindi il normale ssh:

 mazzoni@nbenrico:~> kinit username@PI.INFN.IT
 Password for username@PI.INFN.IT: 

 mazzoni@nbenrico:~> ssh username@gridui.pi.infn.it

 ----------------------------------------------------------
 | Welcome to the INFN-Pisa Public Grid UI Service, SL 6.9
 | 
 | IP will be banned for at least 1h after 5 failed logins!
 |
 | To get help: grid-prod@lists.pi.infn.it
 ----------------------------------------------------------

 [username@gridui2 ~]$ 

Le User Interface sono solo macchine di login pubblico, non sono quindi da utilizzare per scopi computazionale. Attraverso di loro si ha accesso all'intera infrastruttura di Calcolo Scientifico di INFN-Pisa composta da varie componenti, sono queste componenti che dovranno essere usate per le proprie necessità computazionali. Nel caso la propria attività richieda l'uso di applicazioni grafiche è necessario ricordarsi di abilitare il forward X11 al momento della connessione alle UI. Per far questo si hanno due possibilità:

• forward tradizione attraverso l'incapsulamento della sessione grafica X11 all'interno del tunnel ssh creato al momento della connessione. Questo meccaimso è particolarmente semplice da utilizzare ma ha basse prestazioni risentendo molto della latenza della connessione che si utilizza. Per questo motivo è utilizzabile se si lavora dall'interno della rete locale di INFN-Pisa ma sconsigliabile in caso di connessione dall'esterno della LAN o utilizzando una linea ADSL. Per poter abilitare questo tipo di forward sarà sufficiente specificare l'opzione -Y di ssh:

ssh -Y username@gridui.pi.infn.it

• acceleratare attraverso l'uso di un client opportuno. Nel caso ci si colleghi dall'esterno della LAN di INFN-Pisa o comunque siano necessarie prestazioni superiori al tradizionale forward via ssh si dovrà ricorrere ad un software specifico, tutte le UI sono dotate del servizio x2go, installando sulla proprio macchina il client reperibile dal sito di x2go sarà possibile collegarsi alle UI con una sessione grafica più efficente. Una volta installato il client x2go lo si eseguirà ottenendo la seguente finestra

nel menu "Session" in alto a sinistra si selezionerà "New session" per creare una nuova sessione

con i seguenti parametri

Session name: quello che si vuole
Host: gridui.pi.infn.it
Login: username
Session type: single application
Command: terminal


a questo punto selezionando la sessione appena creata sarà possibile fare login su una delle UI e quindi verrà aperto un xterm sulla proprio macchina attraverso cui poter lavorare.

Risorse computazionali

Sono disponibili varie tipologie di risorse computazionali per rispondere alle esigenze di calcolo degli utenti, queste possono essere suddivise in tre grandi gruppi: 1 risorse per analisi interattiva 2 risorse batch di tipo HTC o seriali 3 risorse batch di tipo HPC o parallelo l'accesso a tutte le risorse è mediato dal sistema di batch LSF e quindi le varie tipologie di risorse corrisponderanno a code diverse. Vediamo le modalità di accesso alle varie risorse.

FAI (Farm Analisi Interattiva)

In questo gruppo si trovano risorse di calcolo che rispondono alle esigenze di tipo interattivo, sia per applicazioni "standard" che per quelle che hanno bisogno di utilizzare "molta" RAM. È inoltr epossibile selezionare il tipo di ambiente operativo che si vuol utilizzare fra:

• Scintific Linux 6: sl6
• CentOS 7: cs7

è inoltre possibile utilizzre più CPU sulla solita macchina. Il trasporto della sessione grafica X11 è garantito dal sistema di batch e quindi non è necessario fare nessuna confiugrazione particolare. Nel seguito si riportano i domandi necessari per collegarsi alla FAI nelle varie modalità.

FAI "bassa memoria"

• 1CPU e 1GB di RAM su un nodo a bassa memoria

bsub -Is -q fai ver

con ver che può assumere i valori sl6 o cs7

• m CPU e mx1GB di RAM su un nodo a bassa memoria

bsub -Is -n m -R span[hosts=1] -q fai ver
con ver che può assumere i valori sl6 o cs7

[username@gridui1 ~]$ bsub -Is -n 4 -R span[hosts=1] -q fai sl6
Job <16246270> is submitted to queue <fai>.
<<Waiting for dispatch ...>>
<<Starting on faiwn4>>
sl6: Pulling from fai/wn-umd4
Digest: sha256:4e021128b2143e23e7485a3319d917e9a72a37416956575e9af23553459f9c98
Status: Image is up to date for fai/wn-umd4:sl6
[username@faiwn4 mazzoni]$

FAI "alta memoria"

Batch di tipo HTC

Batch di tipo HPC