raspibo - Contributi utente [it]

Gruppo Meteo/Pluviometro

2014-12-17T09:01:51Z

Lucamenini: /* Note di progettazione di un pluviometro con interfaccia I2C */

= Note di progettazione di un pluviometro con interfaccia I2C =

Se rimaniamo nell'ambito del "Tipping
bucket rain gauge" ([http://it.wikipedia.org/wiki/Pluviometro#Pluviografi_a_doppia_vaschetta_basculante pluviometro a bascula]) tutti i modelli mettono a disposizione uno switch per
il conteggio delle "basculate" e trasformarlo in un pluviometro I2C non è critico.

Bisognerebbe parametrizzare superficie dell'imbuto e volume dello scatto
come parametri a compilation time

Qui pensavamo di utilizzare un piccolo microcontroller (arduino nano o
simili) con batteria in tampone per effettuare il conteggio (con
attenzione alle funzioni "antirimbalzo") e mettere a disposizione i dati
su bus I2C.
L'host dovrebbe quindi fare due operazioni tramite I2C:
# richiedere il conteggio da ultimo reset (le parole da ultimo reset sono importanti: no reset, no dati)
# richiedere il reset del conteggio fino al momento dell'operazione 1.

questa sequenza per non perdere nessun evento considerando quindi 1. e 2.
come una singola transazione

In questo modo la cumulata sarebbe sempre garantita vista la presenza
della batteria tampone.

L'utilizzo di un RTC locale e un firmware leggermente più sofisticato
potrebbe permettere di gestire su host un DB direttamente ad eventi o
comunque un rain rate molto più risolto.
Per non bruciare la eeprom il DB dovrebbe essere tutto in memoria ram e
potrebbe essere utile l'uso di un round robin dove memorizzare time stamp e contatore.

Alcuni RTC hanno una batteria in tampone che potrebbe essere utilizzata anche per
alimentare il microcontroller.

L'alimentazione potrebbe essere fatta tramite il cavo quadripolare I2C

Una evoluzione ancora piu' sofisticata per la gestione energetica potrebbe essere quella di mettere il microcontroller in modalità sleep di risparmio energetico risvegliato dall'interrupt del contatto del pluviometro o dall'alimentazione sul bus I2C; in questo modo i consumi potrebbero essere minimi e permettere lunghi periodi di funzionamento stand alone.

In una fase iniziale di sviluppo invece dell'interfaccia di comunicazione I2C potrebbe essere utilizzata la porta seriale con jsonrpc molto piu' facile da consifurare e diagnosticare.

Gruppo Meteo/Pluviometro

2014-12-17T09:00:41Z

Lucamenini: /* Note di progettazione di un pluviometro con interfaccia I2C */

= Note di progettazione di un pluviometro con interfaccia I2C =

Se rimaniamo nell'ambito del "Tipping
bucket rain gauge" ([http://it.wikipedia.org/wiki/Pluviometro#Pluviografi_a_doppia_vaschetta_basculante pluviometro a bascula]) tutti i modelli mettono a disposizione uno switch per
il conteggio delle "basculate" e trasformarlo in un pluviometro I2C non è critico.

Bisognerebbe parametrizzare superficie dell'imbuto e volume dello scatto
come parametri a compilation time

Qui pensavamo di utilizzare un piccolo microcontroller (arduino nano o
simili) con batteria in tampone per effettuare il conteggio (con
attenzione alle funzioni "antirimbalzo") e mettere a disposizione i dati
su bus I2C.
L'host dovrebbe quindi fare due operazioni tramite I2C:
# richiedere il conteggio da ultimo reset (le parole da ultimo reset sono importanti: no reset, no dati)
# richiedere il reset del conteggio fino al momento dell'operazione a)

questa sequenza per non perdere nessun evento considerando quindi a) e b)
come una singola transazione

In questo modo la cumulata sarebbe sempre garantita vista la presenza
della batteria in tampone.

L'utilizzo di un RTC locale e un firmware leggermente più sofisticato
potrebbe permettere di gestire su host un DB direttamente ad eventi o
comunque un rain rate molto più risolto.
Per non bruciare la eeprom il DB dovrebbe essere tutto in memoria ram e
potrebbe essere utile l'uso di un round robin dove memorizzare time stamp e contatore.

Alcuni RTC hanno una batteria in tampone che potrebbe essere utilizzata anche per
alimentare il microcontroller.

L'alimentazione potrebbe essere fatta tramite il cavo quadripolare I2C

Una evoluzione ancora piu' sofisticata per la gestione energetica potrebbe essere quella di mettere il microcontroller in modalità sleep di risparmio energetico risvegliato dall'interrupt del contatto del pluviometro o dall'alimentazione sul bus I2C; in questo modo i consumi potrebbero essere minimi e permettere lunghi periodi di funzionamento stand alone.

In una fase iniziale di sviluppo invece dell'interfaccia di comunicazione I2C potrebbe essere utilizzata la porta seriale con jsonrpc molto piu' facile da consifurare e diagnosticare.

Gruppo Meteo/Pluviometro

2014-12-17T08:59:33Z

Lucamenini: /* Note di progettazione di un pluviometro con interfaccia I2C */

= Note di progettazione di un pluviometro con interfaccia I2C =

Se rimaniamo nell'ambito del "Tipping
bucket rain gauge" ([http://it.wikipedia.org/wiki/Pluviometro#Pluviografi_a_doppia_vaschetta_basculante pluviometro a bascula]) tutti i modelli mettono a disposizione uno switch per
il conteggio delle "basculate" e trasformarlo in un pluviometro I2C non è critico.

Bisognerebbe parametrizzare superficie dell'imbuto e volume dello scatto
come parametri a compilation time

Qui pensavamo di utilizzare un piccolo microcontroller (arduino nano o
simili) con batteria in tampone per effettuare il conteggio (con
attenzione alle funzioni "antirimbalzo") e mettere a disposizione i dati
su bus I2C.
L'host dovrebbe quindi fare due operazioni tramite I2C:
* a) richiedere il conteggio da ultimo reset (le parole da ultimo reset sono importanti: no reset, no dati)
* b) richiedere il reset del conteggio fino al momento dell'operazione a)

questa sequenza per non perdere nessun evento considerando quindi a) e b)
come una singola transazione

In questo modo la cumulata sarebbe sempre garantita vista la presenza
della batteria in tampone.

L'utilizzo di un RTC locale e un firmware leggermente più sofisticato
potrebbe permettere di gestire su host un DB direttamente ad eventi o
comunque un rain rate molto più risolto.
Per non bruciare la eeprom il DB dovrebbe essere tutto in memoria ram e
potrebbe essere utile l'uso di un round robin dove memorizzare time stamp e contatore.

Alcuni RTC hanno una batteria in tampone che potrebbe essere utilizzata anche per
alimentare il microcontroller.

L'alimentazione potrebbe essere fatta tramite il cavo quadripolare I2C

Una evoluzione ancora piu' sofisticata per la gestione energetica potrebbe essere quella di mettere il microcontroller in modalità sleep di risparmio energetico risvegliato dall'interrupt del contatto del pluviometro o dall'alimentazione sul bus I2C; in questo modo i consumi potrebbero essere minimi e permettere lunghi periodi di funzionamento stand alone.

In una fase iniziale di sviluppo invece dell'interfaccia di comunicazione I2C potrebbe essere utilizzata la porta seriale con jsonrpc molto piu' facile da consifurare e diagnosticare.

Gruppo Meteo/Pluviometro

2014-12-17T08:57:40Z

Lucamenini: /* Note di progettazione di un pluviometro con interfaccia I2C */

= Note di progettazione di un pluviometro con interfaccia I2C =

Se rimaniamo nell'ambito del "Tipping
bucket rain gauge" ([http://it.wikipedia.org/wiki/Pluviometro#Pluviografi_a_doppia_vaschetta_basculante pluviometro a bascula]) direi che tutti mettono a disposizione uno switch per
il conteggio e cambiare pluviometro non dovrebbe essere critico.

Bisognerebbe parametrizzare superficie dell'imbuto e volume dello scatto
come parametri a compilation time

Qui pensavamo di utilizzare un piccolo microcontroller (arduino nano o
simili) con batteria in tampone per effettuare il conteggio (con
attenzione alle funzioni "antirimbalzo") e mettere a disposizione i dati
su bus I2C.
L'host dovrebbe quindi fare due operazioni tramite I2C:
* a) richiedere il conteggio da ultimo reset (le parole da ultimo reset sono importanti: no reset, no dati)
* b) richiedere il reset del conteggio fino al momento dell'operazione a)

questa sequenza per non perdere nessun evento considerando quindi a) e b)
come una singola transazione

In questo modo la cumulata sarebbe sempre garantita vista la presenza
della batteria in tampone.

L'utilizzo di un RTC locale e un firmware leggermente più sofisticato
potrebbe permettere di gestire su host un DB direttamente ad eventi o
comunque un rain rate molto più risolto.
Per non bruciare la eeprom il DB dovrebbe essere tutto in memoria ram e
potrebbe essere utile l'uso di un round robin dove memorizzare time stamp e contatore.

Alcuni RTC hanno una batteria in tampone che potrebbe essere utilizzata anche per
alimentare il microcontroller.

L'alimentazione potrebbe essere fatta tramite il cavo quadripolare I2C

Una evoluzione ancora piu' sofisticata per la gestione energetica potrebbe essere quella di mettere il microcontroller in modalità sleep di risparmio energetico risvegliato dall'interrupt del contatto del pluviometro o dall'alimentazione sul bus I2C; in questo modo i consumi potrebbero essere minimi e permettere lunghi periodi di funzionamento stand alone.

In una fase iniziale di sviluppo invece dell'interfaccia di comunicazione I2C potrebbe essere utilizzata la porta seriale con jsonrpc molto piu' facile da consifurare e diagnosticare.

Gruppo Meteo/Pluviometro

2014-12-17T08:51:29Z

Lucamenini: /* Note di progettazione di un pluviometro con interfaccia I2C */

= Note di progettazione di un pluviometro con interfaccia I2C =

Se rimaniamo nell'ambito del "Tipping
bucket rain gauge" (pluviometro a bascula) direi che tutti mettono a disposizione uno switch per
il conteggio e cambiare pluviometro non dovrebbe essere critico.

Bisognerebbe parametrizzare superficie dell'imbuto e volume dello scatto
come parametri a compilation time

Qui pensavamo di utilizzare un piccolo microcontroller (arduino nano o
simili) con batteria in tampone per effettuare il conteggio (con
attenzione alle funzioni "antirimbalzo") e mettere a disposizione i dati
su bus I2C.
L'host dovrebbe quindi fare due operazioni tramite I2C:
* a) richiedere il conteggio da ultimo reset (le parole da ultimo reset sono importanti: no reset, no dati)
* b) richiedere il reset del conteggio fino al momento dell'operazione a)

questa sequenza per non perdere nessun evento considerando quindi a) e b)
come una singola transazione

In questo modo la cumulata sarebbe sempre garantita vista la presenza
della batteria in tampone.

L'utilizzo di un RTC locale e un firmware leggermente più sofisticato
potrebbe permettere di gestire su host un DB direttamente ad eventi o
comunque un rain rate molto più risolto.
Per non bruciare la eeprom il DB dovrebbe essere tutto in memoria ram e
potrebbe essere utile l'uso di un round robin dove memorizzare time stamp e contatore.

Alcuni RTC hanno una batteria in tampone che potrebbe essere utilizzata anche per
alimentare il microcontroller.

L'alimentazione potrebbe essere fatta tramite il cavo quadripolare I2C

Una evoluzione ancora piu' sofisticata per la gestione energetica potrebbe essere quella di mettere il microcontroller in modalità sleep di risparmio energetico risvegliato dall'interrupt del contatto del pluviometro o dall'alimentazione sul bus I2C; in questo modo i consumi potrebbero essere minimi e permettere lunghi periodi di funzionamento stand alone.

In una fase iniziale di sviluppo invece dell'interfaccia di comunicazione I2C potrebbe essere utilizzata la porta seriale con jsonrpc molto piu' facile da consifurare e diagnosticare.

Gruppo Meteo/RFC-rmap obsolete

2014-07-09T14:24:57Z

Lucamenini: /* Visone generale */

= RFC rmap =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Gruppo Meteo/DisciplinareStazione

2014-07-09T14:22:17Z

Lucamenini: errore di ortografia

Per ora temperatura e umidità

http://liste.raspibo.org/wws/d_read/meteo/disciplinare%20stazione/protocollo%20misurazioni.pdf

Gruppo Meteo/Software

2014-07-06T07:01:32Z

Lucamenini: /* Software pronto all'uso */

= Software =

== Software r-map ==
* http://sourceforge.net/projects/r-map/
* http://sourceforge.net/p/arkimet/wiki/Home/
* http://sourceforge.net/p/wreport/home/Home/
* http://sourceforge.net/projects/mqttrepeater/

== Altri software sviluppati da terzi ==
* http://mosquitto.org/
* http://www.rabbitmq.com/
* http://graphite.readthedocs.org/en/1.0/overview.html

== Software pronto all'uso ==
* copia della [http://goo.gl/PT4TTZ scheda SD] usata da Paolo su raspberryPI base all'install party del 3/7/2014. Le credenziali di accesso sono: root/cambiami e rmap/rmap.

Gruppo Meteo/Software

2014-07-05T08:19:19Z

Lucamenini: /* Software pronto all'uso */

Gruppo Meteo/Software

2014-07-05T08:18:30Z

Lucamenini: /* Altri software sviluppati da terzi */

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T19:42:27Z

Lucamenini: /* Campionamento e processo di misurazione */

= RFC rmap =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Sistema di misura

2014-06-13T19:39:19Z

Lucamenini: Creata pagina con 'insieme di uno o più strumenti di misura e in molti casi altri dispositivi, ivi compresi eventuali reagenti e alimentazioni, appositamente connessi e adattati per fornire inf...'

insieme di uno o più strumenti di misura e in molti casi altri dispositivi, ivi compresi eventuali reagenti e alimentazioni, appositamente connessi e adattati per fornire informazione usata allo scopo di stabilire, in intervalli specificati, valori misurati di grandezze di specie specificate (UNI CEI 70099).

# NOTA 1: Talvolta si fa riferimento a uno o più degli elementi che costituiscono un sistema di misura con il termine generico "apparecchiatura per misurazione".
# NOTA 2: Un sistema di misura può essere costituito da un unico strumento di misura.

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T19:37:47Z

Lucamenini: /* Sistema di misura */

= RFC rmap =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T19:35:22Z

Lucamenini: /* Campionamento e processo di misurazione */

= RFC rmap =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un sistema di misura è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T19:32:45Z

Lucamenini: /* Campionamento e processo di misurazione */

= RFC rmap =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un sistema di misura è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T19:29:26Z

Lucamenini: /* Campionamento e processo di misurazione */

= RFC rmap =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un sistema di misura è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T19:25:52Z

Lucamenini: /* Campionamento e processo di misurazione */

= RFC rmap =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Una osservazione (misurazione) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivato da un numero di campioni.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un sistema di misura è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Sensore

2014-06-13T19:23:13Z

Lucamenini: Creata pagina con 'elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099)'

elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099)

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T19:22:41Z

Lucamenini: /* Sistema di misura */

= RFC rmap =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Campione è una singola misura, tipicamente una di una serie di letture “spot” di un sistema di sensoristica.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Una osservazione (misurazione) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivato da un numero di campioni.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un sistema di misura è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T19:20:52Z

Lucamenini: /* Definizioni */

= RFC rmap =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Campione è una singola misura, tipicamente una di una serie di letture “spot” di un sistema di sensoristica.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Una osservazione (misurazione) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivato da un numero di campioni.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un sistema di misura è costituito da 3 componenti:
* sensore: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T19:18:48Z

Lucamenini: /* Campionamento e Osservazioni */

= RFC rmap =

== Definizioni ==

==== Campionamento e Osservazioni ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Campione è una singola misura, tipicamente una di una serie di letture “spot” di un sistema di sensoristica.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Una osservazione (misurazione) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivato da un numero di campioni.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un sistema di misura è costituito da 3 componenti:
* sensore: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T18:44:24Z

Lucamenini: /* Campionamento e Osservazioni */

= RFC rmap =

== Definizioni ==

==== Campionamento e Osservazioni ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Campione è una singola misura, tipicamente una di una serie di letture “spot” di un sistema di sensoristica.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza;
* Una osservazione (misurazione) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivato da un numero di campioni.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un sistema di misura è costituito da 3 componenti:
* sensore: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

Gruppo Meteo/RFC-rmap obsolete

2014-06-13T15:51:24Z

Lucamenini: /* Definizioni */

= RFC rmap =

== Definizioni ==

==== Campionamento e Osservazioni ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Campione è una singola misura, tipicamente una di una serie di letture “spot” di un sistema di sensoristica.
* Una osservazione (misurazione) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivato da un numero di campioni.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un sistema di misura è costituito da 3 componenti:
* sensore: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visone generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT al di fuori del path rmap
* pubblicazione delle osservazioni su broker MQTT nel path rmap
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e loro ripubblicazione su broker MQTT nell'albero MQTT
* composizione di un report
* invio del report ad un accentratore tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time (date time della osservazione o di termine del periodo di osservazione)
* Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
* Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
* Livello: le coordinate verticali (eventualmente strato)
* Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi (controolo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e livello) con i soli metadati longitudine, latitudine, identicativo, report

=== Tabella time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Tabella Livello ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|}

=== Tabella variabile ( B table) ===

B table contents SAMPLE VALUES ONLY ! (the full table is big !)
get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Format
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 2 digits
|-
| 001002 || WMO STATION NUMBER || Numeric || 3 digits
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 8 chars
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 3 chars
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 8 chars
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 9 chars
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 3 digits
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 3 digits
|-
| 001019 || LONG STATION OR SITE NAME || Character || 32 chars
|-
| 001023 || OBSERVATION SEQUENCE NUMBER || Numeric || 3 digits
|-
| 001033 || IDENTIFICATION OF ORIGINATING/GENERATING CENTRE || CODE TABLE 001033 || 3 chars
|-
| 001034 || IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE || CODE TABLE 001034 || 3 chars
|-
| 001063 || ICAO LOCATION INDICATOR || Character || 8 chars
|-
| 001192 || [SIM] MeteoDB station ID || Numeric || 8 digits
|-
| 001193 || [SIM] Report code || Numeric || 5 digits
|-
| 001194 || [SIM] Report mnemonic || Character || 16 chars
|-
| 001212 || AIR QUALITY OBSERVING STATION LOCAL CODE || Character || 7 chars
|-
| 001213 || AIRBASE AIR QUALITY OBSERVING STATION CODE || Character || 7 chars
|-
| 001214 || GEMS AIR QUALITY OBSERVING STATION CODE || Character || 6 chars
|}

=== Dati e Metadati su MQTT ===

I dati pubblicati nel '''path mqtt rmap appartengono solo al level type II'''

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato CREX
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati

=== BUFR messages over AMQP ===

L'accentramento dei dati della rete viene effettuato tramite due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

Il report dovrà essere scritto in formato BUFR come descritto dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Nello specifico sono stati selezionati solo alcuni template ed è possibile usare un template denominato "generic"
con il quale è possibile l'invio di tutti i dati pubblicati su bus MQTT secondo lo standard rmap.

TODO

==== generic template ====

TODO

=== RMAP web services ===

==== Composizione degli URL per un HTTP GET request =====

La "base" della richiesta è quella standard, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

==== Lettura dei dati ====

===== Serie temporale =====

Serie temporale mensile, giornaliera e annuale:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13

Il formato di uscita è in `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"datetime": "2011-01-25T00:00:00",
"level_v1": 2000,
"ident": null,
"level_t1": 103,
"network": "locali",
"level_t2": null,
"bcode": "B12101",
"level_v2": null,
"value": 263.75,
"trange_p2": 0,
"trange_p1": 0,
"trange_pind": 254
}
},
...
}

===== Serie spaziale =====

Serie spaziale di una rete, con granularità oraria (± 30 minuti):

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year:int>/<month:int>/<day:int>/<hour:int>'''

Il formato di uscita è il `GeoJSON` usato nella serie temporale.

==== Riassuntivo ====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon:int>,<lat:int>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind:int>,<p1:int>,<p2:int>/<lt1:int>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

==== Anagrafica ====

'''/-/<lon:int>,<lat:int>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

La risposta è in `GeoJSON` ed analoga a quella dei dati, con la differenza che è multivariabile.

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 0.1:

curl http://api.borinud.arpa.emr.it/v0.1/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09