Gruppo Meteo/RFC-rmap obsolete

RFC rmap

Definizioni

Campionamento e Osservazioni

• Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
• Campione è una singola misura, tipicamente una di una serie di letture “spot” di un sistema di sensoristica.
• Una osservazione (misurazione) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivato da un numero di campioni.
• Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

Data Level

• Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
• Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
• Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

Protocolli per R-map

• MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
• AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

Dati e Metadati

Ogni dato è un valore associato a 6 metadati univoci.

• Time (date time della osservazione o di termine del periodo di osservazione)
• Longitudine, latitudine ed un identificativo (utilizzabile nel caso di stazioni mobili)
• Tipo di report o network: definisce stazioni con caratteristiche omogenee (classe degli strumenti)
• Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica”
• Livello: le coordinate verticali (eventualmente strato)
• Variabile: parametro fisico

Ogni dato può essere dotato inoltre di attributi variabili nel tempo (controolo di qualità) E' inoltre possibile associare dei dati statici (anagrafica, ossia invariabili nel tempo, timerange e livello) con metadati longitudine, latitudine, identicativo, report

Tabella time range

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

• P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time.

• P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero.

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:

0	Average
1	Accumulation
2	Maximum
3	Minimum
4	Difference (value at the end of the time range minus value at the beginning)
5	Root Mean Square
6	Standard Deviation
7	Covariance (temporal variance)
8	Difference (value at the beginning of the time range minus value at the end)
9	Ratio
51	Climatological Mean Value
10-191	Reserved
192-254	Reserved for Local Use
200	Vectorial mean
201	Mode
202	Standard deviation vectorial mean
203	Vectorial maximum
204	Vectorial minimum
205	Product with a valid time ranging inside the given period
254	Istantaneous value

Tabella Livello

Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

leveltype	Meaning	unit/contents of l1/l2
0	Reserved
1	Ground or Water Surface
2	Cloud Base Level
3	Level of Cloud Tops
4	Level of 0C Isotherm
5	Level of Adiabatic Condensation Lifted from the Surface
6	Maximum Wind Level
7	Tropopause
8	Nominal Top of the Atmosphere
9	Sea Bottom
10-19	Reserved
20	Isothermal Level	K/10
21-99	Reserved
100	Isobaric Surface	Pa
101	Mean Sea Level
102	Specific Altitude Above Mean Sea Level	mm
103	Specified Height Level Above Ground	mm
104	Sigma Level
105	Hybrid Level
106	Depth Below Land Surface	mm
107	Isentropic (theta) Level	K/10
108	Level at Specified Pressure Difference from Ground to Level	Pa
109	Potential Vorticity Surface	10-9 K m2 kg-1 s-1
110	Reserved
111	Eta (NAM) Level (see note below)	1/10000
112	116 Reserved
117	Mixed Layer Depth	mm
118-159	Reserved
160	Depth Below Sea Level	mm
161-191	Reserved
200	Entire atmosphere (considered as a single layer)
201	Entire ocean (considered as a single layer)
204	Highest tropospheric freezing level
206	Grid scale cloud bottom level
207	Grid scale cloud top level
209	Boundary layer cloud bottom level
210	Boundary layer cloud top level
211	Boundary layer cloud layer
212	Low cloud bottom level
213	Low cloud top level
214	Low cloud layer
215	Cloud ceiling
220	Planetary Boundary Layer
222	Middle cloud bottom level
223	Middle cloud top level
224	Middle cloud layer
232	High cloud bottom level
233	High cloud top level
234	High cloud layer
235	Ocean Isotherm Level	K/10
240	Ocean Mixed Layer
241	Ordered Sequence of Data
242	Convective cloud bottom level
243	Convective cloud top level
244	Convective cloud layer
245	Lowest level of the wet bulb zero
246	Maximum equivalent potential temperature level
247	Equilibrium level
248	Shallow convective cloud bottom level
249	Shallow convective cloud top level
251	Deep convective cloud bottom level
252	Deep convective cloud top level
253	Lowest bottom level of supercooled liquid water layer
254	Highest top level of supercooled liquid water layer
256	Clouds
257	Information about the station that generated the data
258	(use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
259	(use when ltype1=256) Individual cloud groups, L1 = group number
260	(use when ltype1=256) Cloud drift, L1 = group number
261	(use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
262	(use when ltype1=256) Direction and elevation of clouds, L1 is ignored
263	(use when ltype1=256) Cloud groups with bases below station level, L1 = group number
264	Waves

Tabella variabile ( B table)

B table contents SAMPLE VALUES ONLY ! (the full table is big !) get it from: http://svn.smr.arpa.emr.it/dballe/dballe/trunk/tables/dballe.txt

Code	Description	Units	Format
001001	WMO BLOCK NUMBER	Numeric	2 digits
001002	WMO STATION NUMBER	Numeric	3 digits
001006	AIRCRAFT FLIGHT NUMBER	Character	8 chars
001007	SATELLITE IDENTIFIER	CODE TABLE 1007	3 chars
001008	AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION	Character	8 chars
001011	SHIP OR MOBILE LAND STATION IDENTIFIER	Character	9 chars
001012	DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM**	DEGREE TRUE	3 digits
001013	SPEED OF MOTION OF MOVING OBSERVING PLATFORM*	M/S	3 digits
001019	LONG STATION OR SITE NAME	Character	32 chars
001023	OBSERVATION SEQUENCE NUMBER	Numeric	3 digits
001033	IDENTIFICATION OF ORIGINATING/GENERATING CENTRE	CODE TABLE 001033	3 chars
001034	IDENTIFICATION OF ORIGINATING/GENERATING SUB-CENTRE	CODE TABLE 001034	3 chars
001063	ICAO LOCATION INDICATOR	Character	8 chars
001192	[SIM] MeteoDB station ID	Numeric	8 digits
001193	[SIM] Report code	Numeric	5 digits
001194	[SIM] Report mnemonic	Character	16 chars
001212	AIR QUALITY OBSERVING STATION LOCAL CODE	Character	7 chars
001213	AIRBASE AIR QUALITY OBSERVING STATION CODE	Character	7 chars
001214	GEMS AIR QUALITY OBSERVING STATION CODE	Character	6 chars

Dati e Metadati su MQTT

I dati pubblicati nel path mqtt rmap appartengono solo al level type II

Stato della connessione

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male com will (retained):

rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/

payload : {"v": "error01"}

poi questo messaggio viene "ricoperto" con:

rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/B01213"/

payload : { "v": "conn"}

Data e Constant Data

Data

Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore e dall'instante temporale. Json è il formato per il payload.

Forma simbilica del topic:

rmap/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR

• IDENT: identificativo (per stazioni mobili), “-” per stazioni fisse o etichetta non utilizzata
• COORDS: nella forma lon,lat. Le coordinate sono espresse nell forma int(valore*10^5) con eventuale segno negativo
• NETWORK: etichetta massimo 16 caratteri
• TRANGE: nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
• LEVEL: nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
• VAR: nella forma BXXYYY (come da codice BUFR WMO)

Il payload è in formato JSON: { “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }

• VALUE: valore in formato CREX
• TIME: formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali)

Gli attributi (“a”) solitamente per controllo di qualità sono opzionali

Constant Data

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

rmap/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/

con payload simile a quello dei dati

BUFR messages over AMQP

http://www.wmo.int/pages/prog/www/WMOCodes.html

TODO

generic template

TODO

RMAP web services

TODO