1 of 59

Controllo e supervisione degli impianti

Giacinto Donvito / Vincenzo Spinoso / Roberto Valentini

INFN-Bari

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

2 of 59

Outline

  • Concetti generali
  • HW e SW che compongono l’infrastruttura di ReCaS-Bari
  • Come raccogliere e gestire le informazioni raccolte
  • Non solo informazioni ma anche modifiche allo stato degli oggetti
    • Automatizzare le operazioni
  • Aggregare e visualizzare:
    • Zabbix, etc
  • Sviluppi futuri

2

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

3 of 59

Concetti generali

  • Il data center è stato realizzato già con l’idea di una espandibilità futura
  • Non solo da un punto di vista IT, ma anche di infrastruttura
    • Non era possibile legarsi ad una soluzione tecnologica (mono-vendor) per l’infrastruttura di base
    • anche perchè per il tipo di gara era impossibile gestire la cosa
    • La ditta appaltatrice doveva costruire una palazzina e gestire l’integrazione dei componenti, come risultato di un’unica gara

3

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

4 of 59

Concetti generali

  • I requisiti del TCO sono stati un elemento importante:
    • Il finanziamento per l’acquisto era coperto, ma quello della manutenzione no!
    • Il costo del personale per mantenere in funzione tutto l’oggetto era un fattore determinante
  • Non avendo la possibilità di fare turni, il sistema doveva essere molto resiliente alle failure
    • Questo ha richiesto che già in fase di progetto l’ottimizzazione dell’infrastruttura puntasse a ridurre il numero di interventi umani per tenerla in piedi

4

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

5 of 59

Accorgimenti di progetto

  • Possibilità di usare oggetti forniti da ditte diverse per ogni componente dell’infrastruttura
  • Usare il “plenum” del sottopavimento per la distribuzione dell’aria fredda
  • Isolare il più possibile le infrastrutture critiche
    • UPS in parallelo
    • Circuiti fra chiller e CRAC indipendenti
    • Due linee indipendenti di alimentazione elettrica
    • …
  • Necessità di gestire con una certa intelligenza questi sistemi indipendenti

5

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

6 of 59

ReCaS-Bari

  • Il Data Center ReCaS-Bari è ospitato in un edificio di due piani, appositamente realizzato, con una superficie di 430 metri quadri per piano.

​

6

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

7 of 59

7

6 rack per il GARR

2 rack per il CSI

Tape library

Ultima isola realizzata

con i rack APC di Bc2S

Le risorse computazionali sono alloggiate al piano terra in una sala di 270 mq.

A regime ci saranno 4 isole di 20 rack (due file contrapposte di 10 rack ciascuna) per un totale di 80 rack complessivi.

1 Rack per IBIOM-CNR (Elixir)

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

8 of 59

Il sistema di condizionamento

  • Schema Corridoio Freddo: l'aria fredda, convogliata nel sotto pavimento dai CRAC (Computer Room Air Conditioner) disposti lungo le pareti del DataCenter, viene fatta uscire tra due file di rack. Da qui, ripresa dalle ventole dei sistemi di calcolo, attraversa i sistemi stessi, raffreddandoli, e viene espulsa nell'ambiente a temperatura più elevata.

​

8

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

9 of 59

IL sistema di condizionamento

  • Il DataCenter ReCaS è dotato di 6 CRAC periferici, ognuno in grado di smaltire fino a 125 kW di calore sviluppato dalle apparecchiature informatiche (750 kW in totale).
  • Ogni CRAC è collegato ad un gruppo frigo da 150 kW di potenza frigorifera, collocato sul lastrico solare
  • Il sistema è quindi in grado di assicurare una ridondanza N+2.

9

.

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

10 of 59

L’alimentazione elettrica

  • Tutte le macchine sono dotate di due alimentatori ridondanti
  • Tutte le macchine sono sotto UPS
  • Ci sono due blocchi di UPS che alimentano le due linee: Destra e Sinistra, una per ogni alimentatore dei server
    • Si può escludere completamente una linea di UPS per metterla in manutenzione

​

10

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

11 of 59

Il sistema degli UPS

  • Il DataCenter ReCaS è dotato di due gruppi di continuità identici, modello Trinergy della Emerson, ciascuno in grado di assicurare l'alimentazione ad un carico di 800 kW per 25 minuti. I due gruppi di continuità sono espandibili fino a 1200 kW ciascuno.

11

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

12 of 59

Il gruppo elettrogeno

  • Il gruppo elettrogeno Green Power GP 1650 super-silenziato da 1500 kVA, fornisce la potenza elettrica in caso di black-out elettrici di lunga durata

12

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

13 of 59

Il sistema di spegnimento incendi

  • La rilevazione fumi viene effettuata con un sistema ad aspirazione.
  • Per lo spegnimento incendi, si utilizza il NAF S 125 come agente gassoso, adatto per applicazioni a saturazione totale.

​

​

​

13

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

14 of 59

Il sistema di supervisione

  • Ogni singolo elemento che fa parte della infrastruttura di ReCaS è "controllato" dal sistema di supervisione.
  • Attraverso il sistema di Supervisione è possibile
    • monitorare costantemente tutti gli elementi della infrastruttura ReCaS per verificare che i parametri siano all'interno dell'intervallo di normale funzionamento di quel particolare elemento
    • allertare gli operatori qualora qualcuno dei parametri è al di fuori dell'intervallo di normale funzionamento del dispositivo.
    • intervenire da remoto su tutti i dispositivi per esempio spegnendoli e/o accendendoli, e/o modificandone i parametri di funzionamento.
    • attuare in automatico specifiche sequenze di operazioni al verificarsi di particolari eventi.

14

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

15 of 59

15

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

16 of 59

16

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

17 of 59

17

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

18 of 59

18

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

19 of 59

Cosa si può fare con

  • Raccolta metriche
  • Visualizzazione
  • Allarmistica e attuazione
  • Storico delle metriche

19

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

20 of 59

20

Il sistema raccoglie le metriche di tutta la parte infrastrutturale, dove il protocollo non è compatibile è stato inserito hardware per la conversione di protocollo.

  • MODBUS Seriale
  • MODBUS Ethernet
  • I/O
  • SNMP

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

21 of 59

21

Il sistema raccoglie le metriche di tutta la parte infrastrutturale, dove il protocollo non è compatibile è stato inserito hardware per la conversione di protocollo.

  • MODBUS Seriale
  • MODBUS Ethernet
  • I/O
  • SNMP
  • Raritan
    • PDU
  • Emerson
    • PDU
    • UPS
  • Hiref
    • Gruppi Frigo
    • Crack
  • Siemens
    • Centralina Antintrusione
    • Centralina Antincendio
    • PLC
  • ABB
    • Interruttori
    • Misuratori
  • SS Regeltechnik
    • Sensori Temperatura
    • Sensori Umidità
  • GreenPower
    • Gruppo Elettrogeno

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

22 of 59

22

Per ogni ambiente abbiamo una rappresentazione con gli oggetto che permette di avere un colpo d’occhio sullo stato e le metriche principali.

Spento manualmente

Temperatura in scala colore

PDU fuori servizio Manuale

Temperatura media

Alert

Temperatura corridoio freddo

Temperatura Ambiente

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

23 of 59

23

Gli elementi poi possono essere esplosi per poter vedere nel dettaglio le misure e gli stati

Possiamo interagire ed intervenire sui settaggi

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

24 of 59

24

Non solo la Sala Server, anche la zona Uffici dove sono presenti le centrali Antincendio e Antintrusione

Gli Ambienti climatizzati hanno un SetPoint da mantenere, il sistema si occuperà di impostare i condizionatori per rispettarle, con la possibilità di ritarare i setpoint dei singoli condizionatori

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

25 of 59

25

Oltre le Viste planimetriche abbiamo anche viste logiche

Possiamo scendere nel dettaglio per visualizzare le misure e gli stati

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

26 of 59

26

Viene monitorato l’assorbimento sui Quadri principale

Ricreate le Viste di alcuni componenti per rendere più facile capirne lo stato che si utilizzi il Desigo o il pannello dell’oggetto

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

27 of 59

27

Per ogni oggetto monitorato, che sia rappresentato o meno nelle Viste, abbiamo la possibilità di avere più metriche, visualizzabili da una vista dettagliata, richiamando direttamente la posizione nell’albero logico dall’oggetto grafico.

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

28 of 59

28

Gli allarmi vengono mantenuti in una vista dedicata, dove è possibile riconoscerli e controllarne lo stato

In base alla priorità è possibile scegliere azioni da eseguire, come inviare una notifica

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

29 of 59

29

Gli allarmi vengono mantenuti in una Vista dedicata, dove è possibile riconoscerli e controllare lo stato

In base alla priorità è possibile scegliere azioni da eseguire, come inviare una notifica

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

30 of 59

30

Per i casi più problematici sono implementati degli automatismi che permettono di ripristinare la corretta funzionalità senza l’intervento di un operatore

Reset Condizionatori

Avvio Gruppo Elettrogeno

Alcuni allarmi portano a bloccare il Gruppo Frigo, al rientro dello stato normale il GF per specifiche non riparte fino alla rimozione dello stato di allarme. Inizialmente questo richiedeva che un amministratore facesse il reset manualmente di tutti i GF per ripristinare il corretto condizionamento degli ambienti.

Per ovviare a questo è stata implementata in un PLC la logica che controlla lo stato ed esegue tutte le operazioni remotamente.

In caso di mancanza rete è necessario eseguire diverse operazioni sui quadri elettrici prima di poter far intervenire il Gruppo Elettrogeno, tutte queste azioni vengono eseguite tramite un logica scritta nel PLC.

​

Nella manutenzione del GE è previsto l’avvio del gruppo per verificarne la reale operatività.

Anche questa logica è stata integrata e attuata tramite un PLC.

In caso di incendio oltre ad attivare il sistema anti-incendio, il sistema è in grado anche di togliere corrente in autonomia.

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

31 of 59

31

Tramite L’interfaccia è possibile creare dei trend da salvare di cui raccogliere i dati e mantenerli nel tempo

o creare ad hoc dei trend temporanei ed far partire la registrazione nell’intervallo di tempo interessato

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

32 of 59

Cosa si può fare con

  • raccolta metriche (item),
  • azione basata su precisi eventi tipo soglie, uguaglianze, espressioni regolari (trigger),
  • associazione di livelli di severity a un determinato trigger,
  • azione legata al livello di trigger (ad esempio avvisare una persona attraverso uno dei media a disposizione, eseguire uno script)
  • possibile raccogliere le metriche in "template" da applicare a oggetti simili, es tutte le PDU di una stessa marca, tutti i gruppi frigo
  • i template sono gerarchici

32

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

33 of 59

Vantaggi nell’uso di Zabbix come aggregatore

  • aggregazione
    • zabbix può aggregare in un'unica schermata (screen) un certo numero di widget, che possono essere grafici o tabelle o sommari o altro
    • è immediato chiedere il grafico di un item (simple graph) oppure creare grafici più complessi (graph) e poi integrarli in una schermata (screen)
  • raccolta metriche via protocolli standard (zabbix, SSH, SNMP… )
  • vantaggio dell'uso di SNMP
    • standard
    • bypass di client proprietari (IE, Java, Flash, 32/64bit)
  • Notifiche
    • SMS, Jabber/XMPP, email, Slack, Telegram
  • Zabbix usato solo per il monitoraggio, nessuna autonomia di azione

33

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

34 of 59

Usare Bacnet con Zabbix

  • http://www.bacnet.org/
    • “A Data Communication Protocol for Building Automation and Control Networks.”
  • non supportato nativamente da Zabbix → necessario usare una libreria
  • https://sourceforge.net/projects/bacnet/
  • ancora in pieno sviluppo qualche commit qualche giorno fa

34

lettura via bacnet dal PLC, sviluppato script da zero, �tutto documentato internamente �⇒ questa integrazione è stata possibile unicamente �grazie al fatto di avere un sistema APERTO

​

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

35 of 59

Stato attuale monitoraggio via Bacnet

  • aggiunti i sensori Bacnet relativi all'umidità, attualmente ci sono 36 sensori
  • temperatura dei vari locali UPS/Trafo/Sala server con i relativi trigger
  • umidità dei vari locali UPS/Trafo/Sala Server con i relativi trigger (soglia 80% di umidità)
  • 1 per l'umidità esterna (ovviamente non triggerata)
  • 1 per la temperatura esterna (ovviamente non triggerata)

35

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

36 of 59

36

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

37 of 59

37

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

38 of 59

38

TRIGGERS

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

39 of 59

39

CONFIGURAZIONE DELLE NOTIFICHE

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

40 of 59

SNMP, MIB, OID

  • necessario procurarsi le MIB
    • MIB = Management Information Base, collezione di informazioni organizzate gerarchicamente, accessibili via SNMP
    • OID = Object Identifier, identificano univocamente oggetti in una gerarchia MIB.
  • I vendors definiscono le MIB per i loro prodotti (e quindi associano OID alle metriche esposte)

40

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

41 of 59

Il caso del Gruppo Frigo (GF) e dei condizionatori (CDZ)

  • nel caso di gruppo frigo e condizionatori HiRef abbiamo chiesto che le grandezze fossero esportate con un’interfaccia standard
  • la ditta ha realizzato, installato e configurato una centralina che esporta un’interfaccia SNMP personalizzata appositamente
  • abbiamo ricavato le metriche (snmpwalk) partendo dalle specifiche tecniche fornite dalla ditta, sia per i GF che per i CDZ
  • in sintesi: SNMP rappresenta un’interfaccia tra un backend fornito dall’oggetto (anche se non fosse nativo, può essere realizzato dalla ditta) e un frontend deciso da noi (che possiamo cambiare sempre a patto che si basi su SNMP)

41

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

42 of 59

Gruppo frigo

  • Pressione per entrambi i circuiti
  • Free-cooling Temperature
  • Outdoor Temperature
  • Setpoint - Cooling (impostato dal chiller scroll)
  • Circuit 1 running
  • Circuit 2 running
  • Compressor 1
  • Compressor 2
  • Compressor 3
  • Compressor 4

42

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

43 of 59

43

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

44 of 59

44

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

45 of 59

45

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

46 of 59

CRAC

​

​

  • Ambient Temperature
  • Cooling Valve
  • Main fan speed
  • Main fan status
  • Maximum temperature SETPOINT limit
  • Minimum temperature SETPOINT limit
  • Number of units in Standby mode
  • Output Temperature
  • Temperature SETPOINT
  • Unit Status

46

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

47 of 59

Template per i condizionatori

  • Template SNMP Hiref CDZ --> condizionatore HiRef
  • Template SNMP Hiref CDZ ED --> condizionatore HiRef, modulo "Espansione Diretta"
  • Template SNMP Hiref CDZ HUM --> condizionatore Hiref, modulo "Humidifier"
  • Template SNMP Hiref CDZ W --> condizionatore Hiref, modulo "Water"
  • Template SNMP Hiref CDZ W perchè ad acqua e Template SNMP Hiref CDZ HUM per via del modulo di umidificazione
  • Esempio 1
    • un condizionatore ad acqua con anche il modulo di umidificazione avrà i template Template SNMP Hiref CDZ perché è un condizionatore hiref
  • Esempio 2
    • un condizionatore ad espansione diretta avrà i template Template SNMP Hiref CDZ e Template SNMP Hiref CDZ ED
  • Il template Template SNMP Hiref CDZ essendo la base per il monitoring della tipologia di oggetto avrà la possibilità di avere dei template linkati, come ad esempio Template SNMP Device che contiene gli item comuni a tutti gli oggetti di tipo SNMP

47

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

48 of 59

PDU

RARITAN https://www.raritan.com/support/product/px2

LIEBERT http://www.oidview.com/mibs/476/LIEBERT-GP-PDU-MIB.html

48

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

49 of 59

49

RARITAN

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

50 of 59

50

LIEBERT 1/2

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

51 of 59

51

LIEBERT 2/2

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

52 of 59

UPS Trinergy

52

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

53 of 59

53

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

54 of 59

54

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

55 of 59

55

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

56 of 59

56

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

57 of 59

Piani futuri per l’upgrade dell’infrastruttura

  • Espandere gli UPS da 800kW ciascuno -> 1200kW ciascuno
  • Aggiungere 2 CRAC in sala
    • Altamente probabile che saranno di marca diversa
  • Aumento della potenza IT di circa un fattore 2
    • Ci sarà meno ridondanza, e quindi la logica di controllo deve essere studiata opportunamente
  • Completare anche la 3 isola di RACK con presiere e sensori vari
  • Aggiungere un tri-generatore
    • Da circa 300kW di potenza elettrica
    • Usare Metano per produrre corrente e acqua fredda dovrebbe consentire un TCO più basso sul lungo periodo
    • Usare l’acqua fredda per alimentare tutti i serbatoi inerziali di tutti i CRAC della sala

57

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

58 of 59

Aumento della complessità prevista

  • Più isole da gestire, in termini di bilanciamento del punto di lavoro dei CRAC per tenere tutte le macchine a temperatura ottimale
  • Più fonti di acqua fredda da bilanciare in entrata nello stessa CRAC
  • 3 sorgenti di corrente:
    • ENEL
    • Generatore Diesel
    • Tri-generatore a Gas
      • Richiesto funzionamento “in isola”
  • Gestione delle condizioni di errore/allarme ancora più complesse
  • Gestione di oggetti (CRAC/Chiller/pompa di acqua fredda) con età e provenienza molto diverse

58

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​

59 of 59

Conclusioni

  • Espandere l’infrastruttura di un data center dopo 5 anni dalla sua messa in funzione potrebbe essere molto challenging se non ci fosse una infrastruttura modulare e flessibile di gestione / monitoraggio e controllo
  • Poter intervenire sulla logica di funzionamento del sistema di controllo:
    • può migliorare le condizioni di lavoro del Data center in base al suo utilizzo
    • permette più flessibilità di intervento
      • anche eventualmente sviluppando algoritmi in proprio
  • Questo approccio ci ha permesso un controllo molto diretto su tutti gli anelli della catena:
    • Acquisizione dati, gestione degli attuatori, logica di controllo, export dei dati per integrarli in sistemi di monitoring che contengano anche le informazioni sui servizi IT

59

Corso di formazione su: "Data Center Infrastructure" - 12-14 November 2019 - Laboratori Nazionali di Frascati e INFN Roma La Sapienza

​

​