raspibo - Contributi utente [it]

Gruppo Meteo/HowTo/server-centos

2020-07-13T07:38:17Z

PaoloPatruno: /* istallazione sistema operativo */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

dnf -y install epel-release
dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTool
dnf groupinstall rmap
dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

useradd rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

SecRuleEngine On

#The first SecAction initializes the state, in this case by IP address.
#The second SecAction deprecates the counter by 1 every 60 second.
#This is setting the base rate of our rate limit
#Then the Header definition ensures a header is set whenever a request
#is rate limited, giving a hint to the client that they shouldn’t try
#again for 10 seconds. This is obviously just a guide and a lot of
#clients don’t implement it (and it’s really only valid on a 503 status
#anyway) so it’s a little bit of wishful thinking really.
#Then we define a neat ErrorDocument for the 509 response to give a better clue to the client about what is happening.

<Location /borinud>

# whitelist localhost
#SecRule REMOTE_ADDR "@contains 127.0.0.1" "id:1,phase:1,nolog,allow,ctl:ruleEngine=Off"
SecRule REMOTE_ADDR "^127.0.0.1$" nolog,allow,id:1

# initialise the state based on ip address
SecAction id:2,initcol:IP=%{REMOTE_ADDR}

# set the base rate to one per 15 minutes
SecAction id:3,deprecatevar:IP.CALLS_LIMIT=1/900

# if greater then burst_rate_limit then pause set RATELIMITED var and then return 503
SecRule IP:CALLS_LIMIT "@gt 60" "id:4,phase:2,pause:300,deny,status:503,setenv:RATELIMITED,skip:1"

# if above rule doesnt match increment the count
SecAction id:5,setvar:IP.CALLS_LIMIT=+1

# set a header when ratelimited
Header always set Retry-After "10" env=RATELIMITED

</Location>

ErrorDocument 503 "Service Unavailable"

chkconfig httpd on
service httpd start

== Arkimet ==

dnf install arkimet arkimet-postprocessor-suite
useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/
mkdir /var/log/arkimet
chown -R arkimet:arkimet /var/log/arkimet

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

Create file /etc/arkimet/scan/bufr_generic_mobile_rmap.py:

from arkimet.scan.bufr import Scanner, read_area_mobile, read_proddef

def scan(msg, md):
if msg.report == "mobile":
area = read_area_mobile(msg)
proddef = read_proddef(msg)
if area:
md["area"] = {"style": "GRIB", "value": area}
if proddef:
md["proddef"] = {"style": "GRIB", "value": proddef}
else:
return False

Scanner.register("generic", scan, priority=1)

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

cd /etc/monit.d/
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdaten
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==

AL MOMENTO NON DISPONIBILE SU CENTOS 8
NOT AVAILABLE ON CENTOS 8

dnf install arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/server-centos

2020-07-13T07:29:38Z

PaoloPatruno: /* istallazione sistema operativo */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository:
yum -y install epel-release

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

SecRuleEngine On

#The first SecAction initializes the state, in this case by IP address.
#The second SecAction deprecates the counter by 1 every 60 second.
#This is setting the base rate of our rate limit
#Then the Header definition ensures a header is set whenever a request
#is rate limited, giving a hint to the client that they shouldn’t try
#again for 10 seconds. This is obviously just a guide and a lot of
#clients don’t implement it (and it’s really only valid on a 503 status
#anyway) so it’s a little bit of wishful thinking really.
#Then we define a neat ErrorDocument for the 509 response to give a better clue to the client about what is happening.

<Location /borinud>

# whitelist localhost
#SecRule REMOTE_ADDR "@contains 127.0.0.1" "id:1,phase:1,nolog,allow,ctl:ruleEngine=Off"
SecRule REMOTE_ADDR "^127.0.0.1$" nolog,allow,id:1

# initialise the state based on ip address
SecAction id:2,initcol:IP=%{REMOTE_ADDR}

# set the base rate to one per 15 minutes
SecAction id:3,deprecatevar:IP.CALLS_LIMIT=1/900

# if greater then burst_rate_limit then pause set RATELIMITED var and then return 503
SecRule IP:CALLS_LIMIT "@gt 60" "id:4,phase:2,pause:300,deny,status:503,setenv:RATELIMITED,skip:1"

# if above rule doesnt match increment the count
SecAction id:5,setvar:IP.CALLS_LIMIT=+1

# set a header when ratelimited
Header always set Retry-After "10" env=RATELIMITED

</Location>

ErrorDocument 503 "Service Unavailable"

chkconfig httpd on
service httpd start

== Arkimet ==

dnf install arkimet arkimet-postprocessor-suite
useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/
mkdir /var/log/arkimet
chown -R arkimet:arkimet /var/log/arkimet

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

Create file /etc/arkimet/scan/bufr_generic_mobile_rmap.py:

from arkimet.scan.bufr import Scanner, read_area_mobile, read_proddef

def scan(msg, md):
if msg.report == "mobile":
area = read_area_mobile(msg)
proddef = read_proddef(msg)
if area:
md["area"] = {"style": "GRIB", "value": area}
if proddef:
md["proddef"] = {"style": "GRIB", "value": proddef}
else:
return False

Scanner.register("generic", scan, priority=1)

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

cd /etc/monit.d/
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdaten
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==

AL MOMENTO NON DISPONIBILE SU CENTOS 8
NOT AVAILABLE ON CENTOS 8

dnf install arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/server-centos

2020-07-13T07:28:55Z

PaoloPatruno: /* istallazione sistema operativo */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository:
yum -y install epel-release

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

SecRuleEngine On

#The first SecAction initializes the state, in this case by IP address.
#The second SecAction deprecates the counter by 1 every 60 second.
#This is setting the base rate of our rate limit
#Then the Header definition ensures a header is set whenever a request
#is rate limited, giving a hint to the client that they shouldn’t try
#again for 10 seconds. This is obviously just a guide and a lot of
#clients don’t implement it (and it’s really only valid on a 503 status
#anyway) so it’s a little bit of wishful thinking really.
#Then we define a neat ErrorDocument for the 509 response to give a better clue to the client about what is happening.

<Location /borinud>

# whitelist localhost
#SecRule REMOTE_ADDR "@contains 127.0.0.1" "id:1,phase:1,nolog,allow,ctl:ruleEngine=Off"
SecRule REMOTE_ADDR "^127.0.0.1$" nolog,allow,id:1

# initialise the state based on ip address
SecAction id:2,initcol:IP=%{REMOTE_ADDR}

# set the base rate to one per 15 minutes
SecAction id:3,deprecatevar:IP.CALLS_LIMIT=1/900

# if greater then burst_rate_limit then pause set RATELIMITED var and then return 503
SecRule IP:CALLS_LIMIT "@gt 60" "id:4,phase:2,pause:300,deny,status:503,setenv:RATELIMITED,skip:1"

# if above rule doesnt match increment the count
SecAction id:5,setvar:IP.CALLS_LIMIT=+1

# set a header when ratelimited
Header always set Retry-After "10" env=RATELIMITED

</Location>

ErrorDocument 503 "Service Unavailable"

chkconfig httpd on
service httpd start

== Arkimet ==

dnf install arkimet arkimet-postprocessor-suite
useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/
mkdir /var/log/arkimet
chown -R arkimet:arkimet /var/log/arkimet

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

Create file /etc/arkimet/scan/bufr_generic_mobile_rmap.py:

from arkimet.scan.bufr import Scanner, read_area_mobile, read_proddef

def scan(msg, md):
if msg.report == "mobile":
area = read_area_mobile(msg)
proddef = read_proddef(msg)
if area:
md["area"] = {"style": "GRIB", "value": area}
if proddef:
md["proddef"] = {"style": "GRIB", "value": proddef}
else:
return False

Scanner.register("generic", scan, priority=1)

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

cd /etc/monit.d/
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdaten
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==

AL MOMENTO NON DISPONIBILE SU CENTOS 8
NOT AVAILABLE ON CENTOS 8

dnf install arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

VideoConfDoveSiamo

2020-04-30T15:07:39Z

PaoloPatruno: Creata pagina con ' Per la sera del 30 Aprile 2020 ci troviamo: * https://meet.jit.si/raspibo se non ci trovi riconsulta questa pagina'

Per la sera del 30 Aprile 2020 ci troviamo:
* https://meet.jit.si/raspibo

se non ci trovi riconsulta questa pagina

Gruppo Meteo/RFC-rmap obsolete

2020-04-07T07:11:03Z

PaoloPatruno: /* Anagrafica */

= RFC rmap versione 2.3 =
== Storia del documento ==
2019/06/18 v. 2.3 : aggiunte specifiche JSRPC

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Data Level ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"],
"51":["B11211","B11212","B11213","B11214","B11215","B11216"],
"52":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: se true riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server (default false)
* char datalevel: "sample" o "report"; prima parte del path di pubblicazione su MQTT per i dati (default "report")
* char network: "fixed" o "mobile"; prima parte del path di pubblicazione su MQTT per i dati (default "fixed")
* int lat: latitudine espressa con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* int lon: longitudine espressa con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* char mqttmaintpath: prima parte del path di pubblicazione su MQTT per i messaggi di funzionamento (default "maint")
* int sampletime: intervallo tra le misure in secondi (default 900)
* char mqttserver: server MQTT (default "rmap.cc")
* char mqttuser: MQTT user ( no default)
* char mqttpass: MQTT password ( no default)
* char ntpserver: NTP server (no default)
* array int[6] date: set date and time [esempio: 2014,2,10,18,45,18] (no default)
* array byte mac[6]: ethernet mac address (esempio: use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.) (no default)
* bool save: if true save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server (default false)
* array sens:
** char tr: timerange (esempio: "1,0,60") (no default)
** char lev: level (esempio "1,-,-,-") (no default)
** char var: variabile tabella B (esempio "B13011") (no default)
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc", "mqttuser":"myuser", "mqttpass":"mypassword"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"datalevel":"report", "network":"fixed", "lon":1112345, "lat":4412345}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

Elenco stazioni indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stations'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stations'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Covid19/Come produrre schermi facciali di protezione

2020-03-27T18:08:19Z

PaoloPatruno: /* Altri How To */

= Da dove partire =
== Link utili da cui partire ==

=== Articoli scientifici ===
=== Altri materiali tecnico scientifici ===
=== Altri How To ===
* https://nabilbd.com/how-we-are-making-diy-faceshield-for-dcotors/?fbclid=IwAR28P__CjdDmCqpfgw81to6l1Sm8aM3K3WYxQ4-kA1QjyRCrfktg-uJrHQU
* http://makernexuswiki.com/index.php?title=3D_printed_face_shields
* https://twitter.com/DrLukeTC/status/1242954678838706177
* https://www.prusaprinters.org/prints/25857-prusa-protective-face-shield-rc2
* http://daniepstein.com/daniepstein/3d-printable-face-shield/
* https://www.facebook.com/groups/opensourcecovid19medicalsupplies/permalink/677950066348722/
* https://grabcad.com/library/covid19-face-shield-for-cnc-router-1
* https://ldnmachines.weebly.com/project-zero-covid---face-shield.html
* https://www.thingiverse.com/thing:4239688

== Idee a ruota libera ==

= Risorse =
* Materiali
* Tecnologie per la fabbricazione

= Problematiche =
* sanificazione
* usabilità

= How To =

== Schermo modello ... ==
=== Caratteristiche ===
* peso
* dimensioni

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

== Schermo modello ... ==
=== Caratteristiche ===
* peso
* dimensioni

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

Covid19/Come farsi una mascherina in casa

2020-03-27T18:02:32Z

PaoloPatruno: /* Controllati */

= Da dove partire =
== Link utili da cui partire ==

=== Articoli scientifici ===

==== Da controllare ====

Studi sull'efficacia delle mascherine chirurgiche nel
contrasto alla diffusione di virus in una comunità

- https://www.ncbi.nlm.nih.gov/pubmed/20088690
- https://www.ncbi.nlm.nih.gov/pubmed/19652172
- https://www.ncbi.nlm.nih.gov/pubmed/22280120

==== Controllati ====
* https://www.nejm.org/doi/10.1056/NEJMc2004973
* https://multimedia.3m.com/mws/media/409903O/respiratory-protection-against-biohazards.pdf
* https://academic.oup.com/annweh/article/54/7/789/202744

=== Altri materiali tecnico scientifici ===
=== Altri How To ===

== Idee a ruota libera ==

= Risorse =
* Materiali
* Tecnologie per la fabbricazione

= Problematiche =
* sanificazione
* umidità

= How To =

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

Covid19/Come farsi una mascherina in casa

2020-03-27T17:31:52Z

PaoloPatruno: /* Controllati */

= Da dove partire =
== Link utili da cui partire ==

=== Articoli scientifici ===

==== Da controllare ====

Studi sull'efficacia delle mascherine chirurgiche nel
contrasto alla diffusione di virus in una comunità

- https://www.ncbi.nlm.nih.gov/pubmed/20088690
- https://www.ncbi.nlm.nih.gov/pubmed/19652172
- https://www.ncbi.nlm.nih.gov/pubmed/22280120

==== Controllati ====
* https://www.nejm.org/doi/10.1056/NEJMc2004973
* https://multimedia.3m.com/mws/media/409903O/respiratory-protection-against-biohazards.pdf

=== Altri materiali tecnico scientifici ===
=== Altri How To ===

== Idee a ruota libera ==

= Risorse =
* Materiali
* Tecnologie per la fabbricazione

= Problematiche =
* sanificazione
* umidità

= How To =

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

Covid19/Come farsi una mascherina in casa

2020-03-27T10:48:26Z

PaoloPatruno: /* Controllati */

= Da dove partire =
== Link utili da cui partire ==

=== Articoli scientifici ===

==== Da controllare ====

Studi sull'efficacia delle mascherine chirurgiche nel
contrasto alla diffusione di virus in una comunità

- https://www.ncbi.nlm.nih.gov/pubmed/20088690
- https://www.ncbi.nlm.nih.gov/pubmed/19652172
- https://www.ncbi.nlm.nih.gov/pubmed/22280120

==== Controllati ====
* https://www.nejm.org/doi/10.1056/NEJMc2004973

=== Altri materiali tecnico scientifici ===
=== Altri How To ===

== Idee a ruota libera ==

= Risorse =
* Materiali
* Tecnologie per la fabbricazione

= Problematiche =
* sanificazione
* umidità

= How To =

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

Covid19/Come farsi una mascherina in casa

2020-03-27T09:00:46Z

PaoloPatruno: /* Controllati = */

= Da dove partire =
== Link utili da cui partire ==

=== Articoli scientifici ===

==== Da controllare ====

Studi sull'efficacia delle mascherine chirurgiche nel
contrasto alla diffusione di virus in una comunità

- https://www.ncbi.nlm.nih.gov/pubmed/20088690
- https://www.ncbi.nlm.nih.gov/pubmed/19652172
- https://www.ncbi.nlm.nih.gov/pubmed/22280120

==== Controllati ====

=== Altri materiali tecnico scientifici ===
=== Altri How To ===

== Idee a ruota libera ==

= Risorse =
* Materiali
* Tecnologie per la fabbricazione

= Problematiche =
* sanificazione
* umidità

= How To =

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

Covid19/Come produrre schermi facciali di protezione

2020-03-27T08:59:12Z

PaoloPatruno: /* Altri How To */

= Da dove partire =
== Link utili da cui partire ==

=== Articoli scientifici ===
=== Altri materiali tecnico scientifici ===
=== Altri How To ===
* https://nabilbd.com/how-we-are-making-diy-faceshield-for-dcotors/?fbclid=IwAR28P__CjdDmCqpfgw81to6l1Sm8aM3K3WYxQ4-kA1QjyRCrfktg-uJrHQU
* http://makernexuswiki.com/index.php?title=3D_printed_face_shields
* https://twitter.com/DrLukeTC/status/1242954678838706177
* https://www.prusaprinters.org/prints/25857-prusa-protective-face-shield-rc2
* http://daniepstein.com/daniepstein/3d-printable-face-shield/
* https://www.facebook.com/groups/opensourcecovid19medicalsupplies/permalink/677950066348722/
* https://grabcad.com/library/covid19-face-shield-for-cnc-router-1
* https://ldnmachines.weebly.com/project-zero-covid---face-shield.html

== Idee a ruota libera ==

= Risorse =
* Materiali
* Tecnologie per la fabbricazione

= Problematiche =
* sanificazione
* usabilità

= How To =

== Schermo modello ... ==
=== Caratteristiche ===
* peso
* dimensioni

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

== Schermo modello ... ==
=== Caratteristiche ===
* peso
* dimensioni

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

Covid19/Come farsi una mascherina in casa

2020-03-27T08:58:31Z

PaoloPatruno: /* Altri How To */

= Da dove partire =
== Link utili da cui partire ==

=== Articoli scientifici ===

==== Da controllare ====

Studi sull'efficacia delle mascherine chirurgiche nel
contrasto alla diffusione di virus in una comunità

- https://www.ncbi.nlm.nih.gov/pubmed/20088690
- https://www.ncbi.nlm.nih.gov/pubmed/19652172
- https://www.ncbi.nlm.nih.gov/pubmed/22280120

==== Controllati =====

=== Altri materiali tecnico scientifici ===
=== Altri How To ===

== Idee a ruota libera ==

= Risorse =
* Materiali
* Tecnologie per la fabbricazione

= Problematiche =
* sanificazione
* umidità

= How To =

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

Covid19/Come produrre schermi facciali di protezione

2020-03-27T08:57:20Z

PaoloPatruno: /* Altri How To */

Covid19/Come farsi una mascherina in casa

2020-03-26T11:47:15Z

PaoloPatruno: /* Altri How To */

= Da dove partire =
== Link utili da cui partire ==

=== Articoli scientifici ===
=== Altri materiali tecnico scientifici ===
=== Altri How To ===
* http://makernexuswiki.com/index.php?title=3D_printed_face_shields
* https://twitter.com/DrLukeTC/status/1242954678838706177
* https://www.prusaprinters.org/prints/25857-prusa-protective-face-shield-rc2
* http://daniepstein.com/daniepstein/3d-printable-face-shield/
* https://www.facebook.com/groups/opensourcecovid19medicalsupplies/permalink/677950066348722/
* https://grabcad.com/library/covid19-face-shield-for-cnc-router-1
* https://ldnmachines.weebly.com/project-zero-covid---face-shield.html

== Idee a ruota libera ==

= Risorse =
* Materiali
* Tecnologie per la fabbricazione

= Problematiche =
* sanificazione
* umidità

= How To =

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

Covid19/Come farsi una mascherina in casa

2020-03-26T11:20:45Z

PaoloPatruno: /* Altri How To */

Covid19/Come produrre schermi facciali di protezione

2020-03-26T10:49:21Z

PaoloPatruno: Creata pagina con '= Da dove partire = == Link utili da cui partire == === Articoli scientifici === === Altri materiali tecnico scientifici === === Altri How To === == Idee a ruota libera == ...'

= Da dove partire =
== Link utili da cui partire ==

=== Articoli scientifici ===
=== Altri materiali tecnico scientifici ===
=== Altri How To ===

== Idee a ruota libera ==

= Risorse =
* Materiali
* Tecnologie per la fabbricazione

= Problematiche =
* sanificazione
* usabilità

= How To =

== Schermo modello ... ==
=== Caratteristiche ===
* peso
* dimensioni

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

== Schermo modello ... ==
=== Caratteristiche ===
* peso
* dimensioni

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

Covid19/Come farsi una mascherina in casa

2020-03-26T10:37:21Z

= Da dove partire =
== Link utili da cui partire ==

=== Articoli scientifici ===
=== Altri materiali tecnico scientifici ===
=== Altri How To ===

== Idee a ruota libera ==

= Risorse =
* Materiali
* Tecnologie per la fabbricazione

= Problematiche =
* sanificazione
* umidità

= How To =

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

== Mascherina fatta con ... ==
=== Caratteristiche ===
* durata
* potere filtrante
* riutilizzabilità

=== Materiali ===

=== Costruzione ===

=== Utilizzo ===

Covid19

2020-03-26T10:25:10Z

PaoloPatruno: Creata pagina con ' '''Qui trovi tutti i progetti relativi al Corona Virus: {{Special:PrefixIndex/Covid19/ |hideredirects=1}}''''

'''Qui trovi tutti i progetti relativi al Corona Virus: {{Special:PrefixIndex/Covid19/ |hideredirects=1}}'''

Gruppo Meteo/HowTo/server-centos

2020-03-10T17:21:53Z

PaoloPatruno: /* apache */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

SecRuleEngine On

#The first SecAction initializes the state, in this case by IP address.
#The second SecAction deprecates the counter by 1 every 60 second.
#This is setting the base rate of our rate limit
#Then the Header definition ensures a header is set whenever a request
#is rate limited, giving a hint to the client that they shouldn’t try
#again for 10 seconds. This is obviously just a guide and a lot of
#clients don’t implement it (and it’s really only valid on a 503 status
#anyway) so it’s a little bit of wishful thinking really.
#Then we define a neat ErrorDocument for the 509 response to give a better clue to the client about what is happening.

<Location /borinud>

# whitelist localhost
#SecRule REMOTE_ADDR "@contains 127.0.0.1" "id:1,phase:1,nolog,allow,ctl:ruleEngine=Off"
SecRule REMOTE_ADDR "^127.0.0.1$" nolog,allow,id:1

# initialise the state based on ip address
SecAction id:2,initcol:IP=%{REMOTE_ADDR}

# set the base rate to one per 15 minutes
SecAction id:3,deprecatevar:IP.CALLS_LIMIT=1/900

# if greater then burst_rate_limit then pause set RATELIMITED var and then return 503
SecRule IP:CALLS_LIMIT "@gt 60" "id:4,phase:2,pause:300,deny,status:503,setenv:RATELIMITED,skip:1"

# if above rule doesnt match increment the count
SecAction id:5,setvar:IP.CALLS_LIMIT=+1

# set a header when ratelimited
Header always set Retry-After "10" env=RATELIMITED

</Location>

ErrorDocument 503 "Service Unavailable"

chkconfig httpd on
service httpd start

== Arkimet ==

dnf install arkimet arkimet-postprocessor-suite
useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/
mkdir /var/log/arkimet
chown -R arkimet:arkimet /var/log/arkimet

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

Create file /etc/arkimet/scan/bufr_generic_mobile_rmap.py:

from arkimet.scan.bufr import Scanner, read_area_mobile, read_proddef

def scan(msg, md):
if msg.report == "mobile":
area = read_area_mobile(msg)
proddef = read_proddef(msg)
if area:
md["area"] = {"style": "GRIB", "value": area}
if proddef:
md["proddef"] = {"style": "GRIB", "value": proddef}
else:
return False

Scanner.register("generic", scan, priority=1)

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

cd /etc/monit.d/
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdaten
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==

AL MOMENTO NON DISPONIBILE SU CENTOS 8
NOT AVAILABLE ON CENTOS 8

dnf install arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/server-centos

2020-03-10T17:14:24Z

PaoloPatruno: /* Arkimet */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

dnf install arkimet arkimet-postprocessor-suite
useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/
mkdir /var/log/arkimet
chown -R arkimet:arkimet /var/log/arkimet

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

Create file /etc/arkimet/scan/bufr_generic_mobile_rmap.py:

from arkimet.scan.bufr import Scanner, read_area_mobile, read_proddef

def scan(msg, md):
if msg.report == "mobile":
area = read_area_mobile(msg)
proddef = read_proddef(msg)
if area:
md["area"] = {"style": "GRIB", "value": area}
if proddef:
md["proddef"] = {"style": "GRIB", "value": proddef}
else:
return False

Scanner.register("generic", scan, priority=1)

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

cd /etc/monit.d/
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdaten
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==

AL MOMENTO NON DISPONIBILE SU CENTOS 8
NOT AVAILABLE ON CENTOS 8

dnf install arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/server-centos

2020-02-13T14:40:25Z

PaoloPatruno: /* Arkimet */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

dnf install arkimet arkimet-postprocessor-suite
useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/
mkdir /var/log/arkimet
chown -R arkimet:arkimet /var/log/arkimet

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

cd /etc/monit.d/
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdaten
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==

AL MOMENTO NON DISPONIBILE SU CENTOS 8
NOT AVAILABLE ON CENTOS 8

dnf install arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/server-centos

2020-02-13T14:32:30Z

PaoloPatruno: /* Arkimet */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/
mkdir /var/log/arkimet
chown -R arkimet:arkimet /var/log/arkimet

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

cd /etc/monit.d/
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdaten
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==

AL MOMENTO NON DISPONIBILE SU CENTOS 8
NOT AVAILABLE ON CENTOS 8

dnf install arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/server-centos

2020-02-12T15:59:27Z

PaoloPatruno: /* Arkiweb */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

cd /etc/monit.d/
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdaten
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==

AL MOMENTO NON DISPONIBILE SU CENTOS 8
NOT AVAILABLE ON CENTOS 8

dnf install arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/server-centos

2020-02-12T15:53:11Z

PaoloPatruno: /* Cron */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

cd /etc/monit.d/
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdaten
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/server-centos

2020-02-12T15:24:02Z

PaoloPatruno: /* Monit */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

cd /etc/monit.d/
wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/server-centos

2020-02-12T14:21:15Z

PaoloPatruno: /* apache */

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

Collect static files from django apps:

mkdir global_static
export DJANGO_SETTINGS_MODULE=rmap.settings
django-admin collectstatic
rmdir global_static

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/server-centos

2020-02-12T11:00:26Z

PaoloPatruno:

= Installazione RMAP server su centos 8 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

dnf install yum-plugin-copr
dnf copr enable simc/stable
dnf copr enable pat1/rmap
dnf config-manager --set-enabled PowerTools

dnf install mosquitto mosquitto-auth-plug
dnf install arkimet

dnf install python3-rmap
dnf install python3-pika python3-simplejson python3-django-classy-tags python3-iso8601 python3-pyparsing python3-requests python3-cairo ython3-nominatim python3-plyer python3-django-cors-headers

#dnf groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
dnf module disable postgresql:10
dnf module enable postgresql:12
dnf install postgresql-server postgresql-contrib
dnf install python3-psycopg2

postgresql-setup --initdb --unit postgresql

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python3-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
curl -s https://packagecloud.io/install/repositories/rabbitmq/erlang/script.rpm.sh | sudo bash

dnf install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
#rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

= Installazione RMAP server su centos 7 =

== istallazione sistema operativo ==

useradd rmap

add epel repository

cd /etc/yum.repos.d
wget http://rmap.it/repo/rmap/rmapcentos.repo

yum install yum-plugin-copr
yum copr enable simc/stable

#cd /tmp
#wget http://rmap.it/repo/rmap/yum-packages-centos.list
#yum -y install < yum-packages-centos.list

yum groupinstall rmap

/etc/selinux/config

SELINUX=disabled

/etc/tmpfiles.d/rmap.conf
d /run/wsgirmap 0755 rmap rmap -
d /var/run/rmap 0755 rmap rmap -
d /var/run/httpd 0755 rmap rmap -

mkdir /rmap
chmod go+rx /rmap

/etc/sysconfig/crond
CRONDARGS=-s -m off

mkdir /var/log/rmap
chown -R rmap:rmap /var/log/rmap

== postgresql ==
yum install postgresql-server postgresql-contrib
yum install python-psycopg2

/var/lib/pgsql/data/pg_hba.conf

# TYPE DATABASE USER ADDRESS METHOD

# "local" is for Unix domain socket connections only
# allow postgres user to use "ident" authentication on Unix sockets
local all postgres ident
# allow all other users to use "md5" authentication on Unix sockets
local all all md5
# IPv4 local connections:
host all all 127.0.0.1/32 md5
# IPv6 local connections:
host all all ::1/128 md5

/var/lib/pgsql/data/postgresql.conf

max_connections = 100
shared_buffers = 128MB
work_mem = 100MB
maintenance_work_mem = 200MB
effective_cache_size = 1GB

mkdir /etc/systemd/system/postgresql.service.d/
/etc/systemd/system/postgresql.service.d/rmap.conf
[Service]

# Location of database directory
Environment=PGDATA=/rmap/pgsql/data

mkdir /rmap/pgsql/
chown postgres:postgres /rmap/pgsql/
mv /var/lib/pgsql/data /rmap/pgsql/

su - postgres
initdb
exit

systemctl enable postgresql.service
systemctl start postgresql.service

su - postgres
createuser -P -e rmapadmin
createdb --owner=rmapadmin rmapadmin
exit

/etc/rmap/rmap-site.cfg
[database]
DATABASE_ENGINE = 'postgresql_psycopg2' # 'postgresql_psycopg2', 'postgresql', 'mysql', 'sqlite3' or 'ado_mssql'.
DATABASE_NAME = 'rmapadmin' # Or path to database file if using sqlite3.
DATABASE_USER = 'rmapadmin' # Not used with sqlite3.
DATABASE_PASSWORD = 'rmapadmin' # Not used with sqlite3.
DATABASE_HOST = 'localhost' # Set to empty string for localhost. Not used with sqlite3.
DATABASE_PORT = '5432' # Set to empty string for default. Not used with sqlite3.

rmapctrl --syncdb

su - postgres
createuser -P -e rmap
createdb --owner=rmap report_fixed
createdb --owner=rmap report_mobile
createdb --owner=rmap sample_fixed
createdb --owner=rmap sample_mobile

exit

== apache ==

yum install python34-mod_wsgi

useradd -r rmap
mkdir /home/rmap
chown rmap:rmap /home/rmap

mkdir /rmap/cache
chown rmap:rmap /rmap/cache

/etc/httpd/conf.modules.d/00-mpm.conf
LoadModule mpm_worker_module modules/mod_mpm_worker.so

<IfModule mpm_worker_module>
#StartServers 2
#MaxClients 150
#MinSpareThreads 25
#MaxSpareThreads 75
#ThreadsPerChild 25
#MaxRequestsPerChild 0
ServerLimit 16
StartServers 2
MaxRequestWorkers 150
MinSpareThreads 10
MaxSpareThreads 35
ThreadsPerChild 15
MaxRequestWorkers 240
MaxConnectionsPerChild 10000
</IfModule>

/etc/httpd/conf.d/rmap.conf
ServerName rmap.it

WSGISocketPrefix /run/wsgirmap/rmap
WSGIDaemonProcess www.rmap.cc user=rmap group=rmap maximum-requests=100 graceful-timeout=200 processes=10 threads=5 request-timeout=180 socket-timeout=180 header-buffer- size=65000
WSGIProcessGroup www.rmap.cc
WSGIApplicationGroup %{GLOBAL}

<VirtualHost *:80 >
ServerName rmap.it
ServerAlias rmap.cc rmapv.rmap.cc rmapv.rmap.it www.rmap.cc www.rmapv.rmap.cc www.rmap.it www.rmapv.rmap.it localhost localhost.localdomain 127.0.0.1 partecipa.rainbolife.eu
Include conf.d/rmap.inc
</VirtualHost>

/etc/httpd/conf.d/rmap.inc

Alias /download /var/www/html/download
Alias /repo /var/www/html/repo
Alias /showroom /var/www/html/showroom
Alias /arkiweb /var/www/html/arkiweb

#Alias /static/admin /usr/lib/python2.7/site-packages/django/contrib/admin/static/admin
#<Directory "/usr/lib/python2.7/site-packages/django/contrib/admin/static/admin">
# Require all granted
#</Directory>

Alias /static /usr/share/rmap/static
<Directory /usr/share/rmap/static>
Require all granted
SetHandler None
</Directory>

Alias /media /usr/share/rmap/media
<Directory /usr/share/rmap/media>
Require all granted
SetHandler None
</Directory>

WSGIScriptAlias / /usr/bin/rmap.wsgi
#WSGIImportScript /usr/bin/rmap.wsgi process-group=%{GLOBAL} application-group=%{GLOBAL}
#WSGIPythonPath /path/to/mysite.com

#WSGIDaemonProcess rmap processes=5 threads=5
#WSGIDaemonProcess rmap
#WSGIProcessGroup rmap

<Directory /usr/bin>
<Files rmap.wsgi>
Require all granted
</Files>
</Directory>

<Location /auth>
Order Deny,Allow
Deny from all
Allow from 127.0.0.1
</Location>

chkconfig httpd on
service httpd start

== Arkimet ==

useradd -r arkimet
mkdir /home/arkimet
chown arkimet:arkimet /home/arkimet
mkdir /rmap/arkimet/
chown -R arkimet:arkimet /rmap/arkimet/

/etc/sysconfig/arkimet
DATASET_CONFIG="/rmap/arkimet/arkimet.conf"

ATTENZIONE ATTENZIONE questa ultima modifica si perde con un aggiornamento del pacchetto

add in /etc/arkimet/scan-bufr/generic.lua
local area = nil
if report:enqc() == "mobile"
then
area = bufr_read_area_mobile(msg)
else
area = bufr_read_area_fixed(msg)
end

ATTENZIONE ATTENZIONE: questa ultima modifica è da fare a ogni aggiornamento del pacchetto

systemctl daemon-reload
chkconfig arkimet on
service arkimet start

== Sincronizzazione DB ==

=== Server di origine ===

rmapctrl --dumpdata > dumpdata.json

rimuovere le prime righe che non sono json

dbadb export --dsn="mysql:///report_fixed?user=rmap&password=****" > report_fixed.bufr
dbadb export --dsn="mysql:///report_mobile?user=rmap&password=****" > report_mobile.bufr
dbadb export --dsn="mysql:///sample_fixed?user=rmap&password=****" > sample_fixed.bufr
dbadb export --dsn="mysql:///sample_mobile?user=rmap&password=****" > sample_mobile.bufr

=== Server di destinazione ===

Da interfaccia web admin rimuovere TUTTI gli utenti (compreso rmap)

rmapctrl --loaddata=dumpdata.json

dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_fixed" report_fixed.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/report_mobile" report_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_mobile" sample_mobile.bufr
dbadb import --wipe-first --dsn="postgresql://rmap:***@localhost/sample_fixed" sample_fixed.bufr

cd /usr/share/rmap/
rsync -av utente@serverorigine:/usr/share/rmap/media .

== Mosquitto ==

add
exclude=mosquitto
in
/etc/yum.repos.d/epel.repo

wget "http://download.opensuse.org/repositories/home:/oojah:/mqtt/CentOS_CentOS-7/home:oojah:mqtt.repo" -o /etc/yum.repos.d/mqtt.repo
yum install mosquitto libmosquitto-devel libmosquittopp-devel mosquitto-clients
mkdir git
cd git
git clone https://github.com/jpmens/mosquitto-auth-plug.git
cp config.mk.in config.mk
emacs config.mk (disable mysql; enable http)

apply this patch:
<nowiki>
diff --git a/auth-plug.c b/auth-plug.c
index 744f115..a36c039 100644
--- a/auth-plug.c
+++ b/auth-plug.c
@@ -585,6 +585,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
* id to bypass ACL checks (or have a username/client id that cannot
* publish or receive messages to its own place in the hierarchy).
*/
+ /*
if(username && strpbrk(username, "+#/")){
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous username \"%s\"", username);
return MOSQ_DENY_ACL;
@@ -594,6 +595,7 @@ int mosquitto_auth_acl_check(void *userdata, const char *clientid, const char *u
_log(MOSQ_LOG_NOTICE, "ACL denying access to client with dangerous client id \"%s\"", clientid);
return MOSQ_DENY_ACL;
}
+ */

_log(LOG_DEBUG, "mosquitto_auth_acl_check(..., %s, %s, %s, %s)",
clientid ? clientid : "NULL",
</nowiki>

make
cp auth-plug.so /usr/lib64/
mkdir /etc/mosquitto/conf.d
mkdir /rmap/mosquitto
chown mosquitto:mosquitto /rmap/mosquitto

/etc/mosquitto/conf.d/rmap.conf
persistent_client_expiration 1d
allow_anonymous true
password_file /etc/mosquitto/pwfile
acl_file /etc/mosquitto/aclfile
log_type error
log_type warning
auth_plugin /usr/lib64/auth-plug.so
auth_opt_backends http
auth_opt_http_hostname localhost
auth_opt_http_ip 127.0.0.1
auth_opt_http_port 80
auth_opt_http_getuser_uri /auth/auth
auth_opt_http_superuser_uri /auth/superuser
auth_opt_http_aclcheck_uri /auth/acl
persistence true
persistence_location /rmap/mosquitto/

/etc/mosquitto/aclfile
topic read #
topic write test/#

# This only affects clients with username "rmap".
user rmap
topic #

pattern write rmap/%u/#
pattern write sample/%u/#

pattern write report/%u/#
pattern write fixed/%u/#

pattern write mobile/%u/#

pattern write maint/%u/#

pattern write rpc/%u/#

remove everythings and add in /etc/mosquitto/mosquitto.conf
include_dir /etc/mosquitto/conf.d
pid_file /var/run/mosquitto.pid

touch /etc/mosquitto/pwfile

chkconfig mosquitto on
service mosquitto start

if the package use systemd:
create /etc/systemd/system/mosquitto.service.d/rmap.conf
[Service]
Restart=always
RestartSec=15

if the package use systemV:
/etc/monit.d/mosquitto

check process mosquitto with pidfile /var/run/mosquitto.pid
start program = "/etc/init.d/mosquitto restart"
stop program = "/etc/init.d/mosquitto stop"
if failed host localhost port 1883 timeout 30 seconds retry 3 then restart

== Rabbitmq ==

curl -s https://packagecloud.io/install/repositories/rabbitmq/rabbitmq-server/script.rpm.sh |bash
wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm
rpm -Uvh erlang-solutions-1.0-1.noarch.rpm
yum install rabbitmq-server

in /etc/rabbitmq/rabbitmq.config

[
{rabbit,
[
{auth_backends, [rabbit_auth_backend_internal, rabbit_auth_backend_http]},
{loopback_users, []}
]
},
{rabbitmq_auth_backend_http,
[{user_path, "http://localhost/auth/user"},
{vhost_path, "http://localhost/auth/vhost"},
{resource_path, "http://localhost/auth/resource"}
]
}
].

rabbitmq-plugins enable rabbitmq_auth_backend_http
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins enable rabbitmq_management_visualiser
rabbitmq-plugins enable rabbitmq_shovel
rabbitmq-plugins enable rabbitmq_shovel_management

chkconfig rabbitmq-server on
service rabbitmq-server start

login at management interface with user "guest" and password "guest"
on overview page use import definition to configure exchange, queue and users
with the same management interface remove "guest" user and login with a new real user

Per attivare uno showell:
rabbitmqctl set_parameter shovel report_mobile '{"src-protocol": "amqp091", "src-uri": "amqp://rmap:<password>@rmap.cc", "src-queue": "report_mobile_saved",
"dest-protocol": "amqp091", "dest-uri": "amqp://rmap:<password>@", "dest-queue": "report_mobile"}'

problema non risolto:
se si trasferiscono dati scritti da un utente autenticandosi con un altro utente la security su user_id lo vieta.
https://www.rabbitmq.com/shovel-dynamic.html
bisognerebbe riuscire a settare "user_id" tramite il parametro "dest-publish-properties" nel formato json sopra ma non funziona

== Monit ==

yum install monit

comment everithings and add in /etc/monitrc
set daemon 60 # check services at 1-minute intervals
set log syslog
set httpd port 5925 and
allow rmap:<password> # require user 'admin' with password 'monit'
allow @monit # allow users of group 'monit' to connect (rw)
allow @users readonly # allow users of group 'users' to connect readonly
include /etc/monit.d/*

rm /etc/monit.d/logging

wget https://raw.githubusercontent.com/r-map/rmap/master/server/etc/monit.d/rmap

chkconfig monit on
service monit start

== Cron ==

cd /etc/cron.d
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/arpae_aq_ckan
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/dballe2arkimet
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/luftdatem
https://raw.githubusercontent.com/r-map/rmap/master/server/etc/cron.d/rmap_generate_summary_cache

== Arkiweb ==
yum install arkimet arkiweb

/etc/httpd/conf.d/arkiweb.conf

ScriptAlias /services/arkiweb/ /usr/lib64/arkiweb/
Alias /arkiweb /var/www/html/arkiweb

<Directory "/usr/lib64/arkiweb">
AllowOverride None
Options +ExecCGI

Order allow,deny
Allow from all

# ARKIWEB_CONFIG is mandatory!
SetEnv ARKIWEB_CONFIG /rmap/arkimet/arkiweb.config

Require all granted

# Authentication (optional)
#
# Basic authentication example:
# SetEnv ARKIWEB_RESTRICT REMOTE_USER
# AuthType Basic
# AuthUserFile /etc/arkiweb.passwords
# require valid-user
</Directory>

Alias /arkiwebjs/ /usr/share/arkiweb/public/
<Directory "/usr/share/arkiweb/public">
#Require all granted
AllowOverride None

Order allow,deny
Allow from all

Require all granted

</Directory>

mkdir /var/www/html/arkiweb/
cp /usr/share/doc/arkiweb/html/example/index.html /var/www/html/arkiweb/index.html

/rmap/arkimet/arkiweb.config

[arpav]
bounding = POLYGON ((12.3693200000000001 44.9166299999999978, 11.3025699999999993 45.0306599999999975, 11.0090299999999992 45.2172600000000031, 10.8328900000000008 45.3717499999999987, 10.7659300000000009 45.5176999999999978, 11.8763699999999996 46.4992599999999996, 12.4241600000000005 46.6514799999999994, 12.7082800000000002 46.5699699999999979, 13.0772700000000004 45.6406399999999977, 12.3693200000000001 44.9166299999999978))
filter = product: BUFR:t=arpav
index = reftime, area, product, origin, proddef
name = arpav
path = http://arkiserver:8090/dataset/arpav
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[meteonetwork]
bounding = POLYGON ((12.0994399999999995 43.7931499999999971, 9.8880599999999994 44.5129299999999972, 9.4983599999999999 44.6443500000000029, 9.4705399999999997 44.6982100000000031, 9.4444999999999997 44.9392799999999966, 9.4909800000000004 45.0587200000000010, 11.8647899999999993 46.5125900000000030, 12.1300000000000008 46.5499999999999972, 12.9021600000000003 45.6111099999999965, 12.7495600000000007 43.9628200000000007, 12.6686999999999994 43.8718500000000020, 12.6577099999999998 43.8649699999999996, 12.0994399999999995 43.7931499999999971))
filter = product: BUFR:t=mnw
index = reftime, area, product, origin, proddef
name = meteonetwork
path = http://arkiserver:8090/dataset/meteonetwork
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=spdsra or BUFR:t=locali or BUFR:t=agrmet or BUFR:t=profe or BUFR:t=simnpr or BUFR:t=simnbo or BUFR:t=rer or BUFR:t=simc or BUFR:t=urbane or BUFR:t=arpae or BUFR:t=boa or BUFR:t=cer or BUFR:t=provpc or BUFR:t=syrep or BUFR:t=umsuol
index = reftime, area, product, origin, proddef
name = opendata-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[opendata-aq-er]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=arpae-aq
index = reftime, area, product, origin, proddef
name = opendata-aq-er
path = http://arkiserver:8090/dataset/opendata-er
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[luftdaten]
bounding = POLYGON ((1.1372199999999999 4.4391400000000001, 8.4514200000000006 44.2992399999999975, 9.2314900000000009 44.8656700000000015, 9.5297699999999992 45.0566800000000001, 9.7055399999999992 45.0605199999999968, 11.8957999999999995 44.9680000000000035, 12.1221499999999995 44.9429000000000016, 12.2213899999999995 44.8950600000000009, 12.7393999999999998 43.9584699999999984, 1.1372199999999999 4.4391400000000001))
filter = product: BUFR:t=luftdaten
index = reftime, area, product, origin, proddef
name = luftdaten
path = http://arkiserver:8090/dataset/luftdaten
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_fixed]
bounding = POLYGON ((11.2500000000000000 44.3458499999999987, 11.2939500000000006 44.5252300000000005, 11.5576200000000000 44.8620999999999981, 11.6186500000000006 44.8371899999999997, 11.6233599999999999 44.6534600000000026, 11.6230100000000007 44.6530500000000004, 11.2500000000000000 44.3458499999999987))
filter = product: BUFR:t=rmap or BUFR:t=fixed
index = reftime, area, product, origin, proddef
name = report_fixed
path = http://arkiserver:8090/dataset/report_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[report_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile
index = reftime, area, product, origin, proddef
name = report_mobile
path = http://arkiserver:8090/dataset/report_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_fixed]
bounding = POLYGON ((0.0000000000000000 0.0000000000000000, 9.1569500000000001 45.4436499999999981, 9.1570599999999995 45.4440700000000035, 11.6006800000000005 46.3956500000000034, 11.6742399999999993 46.4202500000000029, 11.6745000000000001 46.4202900000000014, 11.6747899999999998 46.4201400000000035, 12.4200400000000002 44.1349099999999979, 12.4458099999999998 43.9353399999999965, 12.5000000000000000 41.8999999999999986, 0.0000000000000000 0.0000000000000000))
filter = product: BUFR:t=rmap or BUFR:t=fixed or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_fixed
path = http://arkiserver:8090/dataset/sample_fixed
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

[sample_mobile]
filter = product: BUFR:t=rmap or BUFR:t=mobile or BUFR:t=arpae
index = reftime, area, product, origin, proddef
name = sample_mobile
path = http://arkiserver:8090/dataset/sample_mobile
postprocess = json, bufr, bufr-filter
replace = yes
server = http://arkiserver:8090
step = daily
type = remote
unique = reftime, area, product, origin, proddef

Gruppo Meteo/HowTo/StimaWiFi

2020-02-10T21:05:07Z

PaoloPatruno: /* opzione sensore SDS011 per le polveri */

= HowTo per Stima-wifi =

[[File:stima_wifi.jpg|none|400px|thumb|left|Stima wifi con Honeywell HPM e sensore Temperatura e Umidità]] 

=== Elenco materiali ===

* [https://www.homotix.it/vendita/wemos-schede-cpu/wemos-mini-v310 Wemos D1 mini V3]
* [https://www.homotix.it/vendita/wemos/oled-shield-v110-for-wemos-mini OLED Shield V2.0.0 for Wemos D1 mini]
* [https://www.homotix.it/vendita/wemos-shield-alimentazione/power-shield Wemos DC Power Shield V1.1.0]
* [https://www.homotix.it/vendita/wemos-shield-prototipazione-cavi/wemos-protoboard wemos protoboard]
* [https://www.homotix.it/vendita/connettori-morsettiere/connettore-strip-maschio-poli-12mm connettore strip maschio 12mm]
* [https://www.homotix.it/vendita/wemos-shield-prototipazione-cavi/connettori connettori] (quando necessari)

NOTA BENE

In particolare il sensore Honeywell HPMA richiede una alimentazione a 5V stabilizzata e molto precisa

Alimentazione per distanze fino a circa 50m. dall'alimentazione di rete a 220V:
* [https://www.homotix.it/vendita/alimentatori/alimentatore-12v-2a Alimentatore-12v-2a]
* cavo bipolare della lunghezza opportuna

==== Sensore polveri Sensirion SPS30 ====
[[File:sps30_overview.jpg]]
* [https://www.sensirion.com/en/environmental-sensors/particulate-matter-sensors-pm25/ sps30]
* https://it.rs-online.com/web/p/sensori-di-qualita-dell-aria/1862540/

===== in alternativa =====
* [http://www.plantower.com/en/content/?108.html Plantower pms5003]

===== in alternativa =====
* [https://it.rs-online.com/web/p/sensori-di-luce-e-colore/1454279/ Honeywell HPM-115S0]
* [https://it.rs-online.com/web/p/wire-to-board-cable-assemblies/1250750/ Cavo connessione PicoBlade Molex 8 vie]

===== in alternativa =====
* [https://www.homotix.it/vendita/sensori-polveri-sottili/sensore-polveri-sottili-sds011 SDS011]

==== Sensore temperatura e umidità ====
* [https://www.sensirion.com/en/environmental-sensors/humidity-sensors/sht85-pin-type-humidity-sensor-enabling-easy-replaceability/ sensirion SHT85] [[File:sht85_overview.jpg]]
* [https://it.rs-online.com/web/p/sensori-di-temperatura-e-umidita/1826530/ negozio RS]

===== in alternativa =====
====== temperatura 0.2C accuratezza ======
* [https://www.analog.com/en/products/adt7420.html ADT7420]
====== temperatura 0.5C accuratezza e umidità ======
* [https://sensing.honeywell.com/honeywell-sensing-humidicon-hih6100-series-product-sheet-009059-6-en.pdf HIH6121]

==== Sensore di CO2 ====

[[File:scd30_overview.jpg]]
* [https://www.sensirion.com/en/environmental-sensors/carbon-dioxide-sensors-co2/ Sensirion SCD30]
* [https://it.rs-online.com/web/p/sensori-di-temperatura-e-umidita/1720552/ negozio RS]

=== Configurazioni sul server ===

==== Registrazione ====
[http://rmap.cc/registrazione/register/ Registrasi] o fare [http://rmap.cc/registrazione/login] login sul server.
==== Configurazione stazione ====
Registrare una nuova stazione sul [http://rmap.cc/insertdata/newstation server]; dopo aver selezionato le coordinate utilizzando l'indirizzo o selezionandole dalla mappa inserire il nome stazione ( nome consigliato come predefinito "stimawifi")
e il modello stazione che sarà
* "airquality_sps_sht_scd" se sono collegati i sensori Sensirion delle polveri SPS30, temperatura e umidità SHT85 , sensore di CO2 SCD30
* "airquality_sps_sht" se sono collegati i sensori Sensirion delle polveri SPS30, temperatura e umidità SHT85
* "airquality_sps" se è collegato solo il sensori Sensirion delle polveri SPS30
* "airquality_sds" se è collegato solo il sensore delle polveri SDS011.
* "airquality_hpm" se è collegato solo il sensore delle polveri Honeywell HPM
* "airquality_pms" se è collegato solo il sensore delle polveri Plantower pms5003
* "stima_thd" se sono collegati il sensore delle polveri Honeywell HPM e il modulo stima_th
* "stima_thdm" se sono collegati il sensore delle polveri Honeywell HPM, il modulo stima_th, il modulo stima_gas

=== Attivazione stazione ===
Accendere la stazione collegandola tramite l'apposito alimentatore a una alimentazione USB.

==== Se si ha il display ====
Tenendo premuto il pulsante A premere il pulsante Reset.
Dovranno apparire le seguenti scritte:
Clean FS
Reset wifi configuration

Con un PC o uno smathphone collegarsi al WIFI con ssed "STIMA-config" e password "bellastima" come indicato sul display.

Una volta attivata la connessione dovrà comparire una pagina di configurazione intitolata "STIMA-config".

Se questo non avviene automaticamente puntare il browser all'indirizzo http://192.168.4.1/

Selezionare la prima voce "Configure WiFi".

Selezionare dall'elenco l'ssed della rete WiFi di accesso alla rete che dovrà essere utilizzata dalla stazione e inserire nell'apposita casella la relativa password di accesso se necessaria.
Nella casella "rmap user" inserire il nome utente utilizzato nella registrazione sul server e nella casella "rmap password".

Lasciare "stimawifi" come nome stazione se non è sttao precedentemente personalizzato.

premere il tasto "save" per salvare.

Se si ottiene la pagina con la scritta "Credentials Saved" la procedura ha avuto successo.

A questo punto sul display dopo la pagina con la scritta "Starting up!" e la versione del firmware dovrà comparire la scritta "WIFI OK".

Se questo non avviene rieseguire le istruzioni di questa sezione.

==== Se non si ha il display ====
Con un filo connettere il pin 7 a massa e premere il pulsante Reset e attendere 5 secondi prima di scollegare il filo dal pin 7.

Con un PC o uno smathphone collegarsi al WIFI con ssed "STIMA-config" e password "bellastima" come indicato sul display.

Una volta attivata la connessione dovrà comparire una pagina di configurazione intitolata "STIMA-config".

Se questo non avviene automaticamente puntare il browser all'indirizzo http://192.168.4.1/

Selezionare la prima voce "Configure WiFi".

Selezionare dall'elenco l'ssed della rete WiFi di accesso alla rete che dovrà essere utilizzata dalla stazione e inserire nell'apposita casella la relativa password di accesso se necessaria.

Nella casella "rmap user" inserire il nome utente utilizzato nella registrazione sul server e nella casella "rmap password".

Lasciare "stimawifi" come nome stazione se non è sttao precedentemente personalizzato.

premere il tasto "save" per salvare.

Se entro 60 secondi si accenderà un led blu per una decina di secondi tutto è andato a buon fine.

Se questo non avviene rieseguire le istruzioni di questa sezione.

=== Legenda segnalazioni tramite LED blu onboard ===

* riavvio: 3 impulsi luminosi di 1 secondo
* tentativo aggiornamento firmware in corso: led lampeggiante a 1Hz
* risultato aggiornamento firmware:
** nessun aggiornamento disponibile: 1 impulso luminosi di 1 secondo
** aggiornamento firmware fallito: 2 impulsi luminosi di 1 secondo
** firmware aggiornato: 3 impulsi luminosi di 1 secondo
* in attesa di configurazione: led lampeggiante a 1Hz per tutto il periodo di configurazione
* configurazione remota fallita: led lampeggiante a 1Hz per 5 secondi
* connect MQTT fallita/errore pubblicazione: impulso medio a 1Hz per 5 secondi
* sensore assente o rotto/errore comunicazione: impulso lungo a 1Hz per 5 secondi
* dato mancante: un impulso luminoso di 1 secondo a 2Hz

Un corretto funzionamento della stazione viene evidenziato dal led blu che si accende per circa 5 secondi ogni 60 secondi.

=== Visualizzazione dei dati ===
[http://rmapv.rmap.cc/accounts/profile/ Dati stazione] 

=== Cancellazione delle configurazioni e reset alle condizioni di "fabbrica" ===
==== Se si ha il display ====
Tenendo premuto il pulsante A premere il pulsante Reset.
Dovranno apparire le seguenti scritte:
Clean FS
Reset wifi configuration

Potranno essere necessarie alcune decine di secondi prima che queste scritte scompaiano e si possa procedere.

==== Se non si ha il display ====
Con un filo connettere il pin 7 a massa e premere il pulsante Reset e attendere 5 secondi prima di scollegare il filo dal pin 7 e attendere ulteriori 60 secondi.

=== Assemblaggio ===
Infilare i connettori con i pin lunghi e saldarli sul modulo Wemos D1 mini.
Se si dispone di un display Wemos v2 impilarlo sul modulo Wemos D1 mini.
Aggiungere alla pila Wemos il DC Power Shield.

Saldare alla wemos protoboard i pin necessari a connettere tutti i sensori e aggiungerlo alla pila Wemos come da foto.
[[File:protoboard-shield-per-wemos-d1-mini.jpg]]
[[File:wemos_protoboard_connection.png]]
[[File:protoboard_saldata.jpg]]
[[File:pila_wemos.jpg]]

==== opzione display oled ====
Se si possiede la versione v2.0.0 sul circuito stampato dal lato opposto del display interrompere la piazzola sulla destra indicata con D3 (pulsante A, piazzola indicata con la freccia) e della stessa colonna di piazzole saldare quella indicata con D7.
Se si possiede la versione v1.x (senza pulsanti A e B) è necessario realizzare una saldatura dove previsto (sul retro del circuito stampato rispetto al display) selezionando l'indirizzo I2C corrispondente a 0x3C.

==== Sensore Sensirion SPS30 per le polveri ====

[[File:sps30_connector.png]]

Connettere:
{| class="wikitable"
! Wemos D1 mini
!
! SPS30
|-
| 5V || <-> || PIN 1
|-
| D2 || <-> || PIN 2
|-
| D1 || <-> || PIN 3
|-
| GND || <-> || PIN 4
|-
| GND || <-> || PIN 5
|}

==== Sensore Sensirion SCD30 per la CO2 ====

[[File:scds30_connector.png]]

Connettere:
{| class="wikitable"
! Wemos D1 mini
!
! SCD30
|-
| 5V || <-> || VDD
|-
| GND || <-> || GND
|-
| D1 || <-> || SCL
|-
| D2 || <-> || SDA
|}

Assemblaggio del sensore all'uscita del sensore di polveri:
[[File:scd30_assemblaggio_1.jpg]]
[[File:scd30_assemblaggio_2.jpg]]

==== opzione sensore Plantower PMS5003 per le polveri ====
numbering pins from left to right with "plantower" stamps on the floor

Effettuare i seguenti collegamenti tra Wemos e [https://github.com/r-map/rmap/blob/master/arduino/sketchbook/libraries/pms/doc/pms5003-manual_v2-3.pdf PMS5003]:
Connettere:
{| class="wikitable"
! Wemos D1 mini
!
! PMS5003
|-
| GND || <-> || PIN 2
|-
| 5V || <-> || PIN 1
|-
| D5 || <-> || PIN 5
|-
| D6 || <-> || PIN 4
|}

eventualmente connettere anche il PIN 6 (reset) e PIN 3 (SET) (DA FARE)

==== opzione sensore SDS011 per le polveri ====
Effettuare i seguenti collegamenti tra Wemos e SDS011:
Connettere:
{| class="wikitable"
! Wemos D1 mini
!
! SDS011
|-
| GND || <-> || pin 5 GND
|-
| 5V || <-> || pin 3 5V
|-
| D5 || <-> || pin 7 TXD
|-
| D6 || <-> || pin 6 RXD
|}

==== opzione sensore Honeywell HPM per le polveri ====
Effettuare i seguenti collegamenti tra Wemos e Honeywell hpm:
[[File:Honeywell_hpm_pinout.png|300px|thumb|left|Honeywell pinout]] 
Connettere:
{| class="wikitable"
! Wemos D1 mini
!
! Honeywell HPM
|-
| GND || <-> || PIN 8 GND
|-
| 5V || <-> || PIN 2 5V
|-
| D5 || <-> || PIN 6 TX
|-
| D6 || <-> || PIN 7 RX
|}

[[File:assemblaggioinscatolaelettrica.jpg|400px|thumb|left|Assemblaggio moduli in scatola elettrica]] 

[[File:assemblaggioinscatolaelettricaflusso.jpg|400px|thumb|left|Assemblaggio materiale espanso per flusso aria]] 

[[File:presearia.jpg|400px|thumb|left|Messa in opera con canaletta angolo a 90 gradi per flusso aria in/out antipioggia]] 

[[File:filtroinsetti.jpg|400px|thumb|left|Uso di rete zanzariera per filtro contro gli insetti]] 

==== sensore SHT85 per temperatura e umidità ====

[[File:sht85_connections.png]]
Connettere:
{| class="wikitable"
! Wemos D1 mini
!
! modulo Stima-th
|-
| GND || <-> || PIN 3
|-
| 3V3 || <-> || PIN 2
|-
| D1 || <-> || PIN 1
|-
| D2 || <-> || PIN 4
|}

==== Opzione modulo Stima-th con HIH6121 e ADT7420 per temperatura e umidità ====

[[File:sensoretemperaturaeumidita.jpg|400px|thumb|left|Sensore temperatura e umidità all'interno di apposito schermo per le radiazioni]] 

* ponticellare (con un resistore) A1-centrale con A1-
* ponticellare (con un resistore) A0-centrale con A0+

Una volta saldati i terminali dei cavi e protetti con nastro autoagglomerante è importante preservare le connessioni dalla corrosione degli agenti atmosferici e consigliamo uno strato di silicone protettivo spray del tipo Electrolube DCR200H; solo una volta asciugato lo strato di vernice protettiva rimuovere la protezione adesiva del sensore HIH

Connettere:
{| class="wikitable"
! Wemos D1 mini
!
! modulo Stima-th
|-
| GND || <-> || GND
|-
| 3V3 || <-> || VCC
|-
| D1 || <-> || SCL
|-
| D2 || <-> || SDA
|}

Se non si utilizza la wemos_protoboard è necessario fare una modifica al modulo wemos per aggiungere un pin di collegamento a GND.
Saldare a 45 gradi di inclinazione un pin aggiuntivo per connettore Dupont a GND come da figura:
[[File:stima_wifi_addpintognd.jpg|300px|thumb|center|Pin aggiunto a GND]] 

==== Opzione modulo Stima-i2c-sdsmics ====

vedi:
http://www.raspibo.org/wiki/index.php?title=Gruppo_Meteo/HowTo#Modulo_Stima-i2c-sdsmics

==== Opzione per alimentazione con cavo di lunghezza superiore a 2m. ====
Tagliare il cavo dell'alimentatore e inserire una piattina bipolare con rame di diametro opportuno ovviamente della lunghezza necessaria.

==== Per caricare il firmware ====

===== Installare il driver USB2Serial =====

====== Windows ======
Per comunicare col Wemos c’è bisogno del driver usb2serial.

====== Linux ======
Nessuna installazione necessaria.

====== MacOS ======
Per Sierra vedere queste instruzioni che sono state testate: https://github.com/adrianmihalko/ch340g-ch34g-ch34x-mac-os-driver

===== Upload del firmware =====

Effettuare il download del firmware da http://rmap.cc/media/firmware/rmap_esp8266.ino.d1_mini_yhbp7E2.bin
e caricarlo sul Wemos dopo averlo connesso tramite cavetto USB.
Per fare questo seguire le istruzioni a:
https://github.com/espressif/esptool
e in particolare:
https://github.com/espressif/esptool#writing-binaries-to-flash

Gruppo Meteo/Partecipa/OsservazioniManuali

2019-11-06T09:10:42Z

PaoloPatruno:

Per inserire delle osservazioni manuali è necessario essere registrati sulla piattaforma RMAP (vedi RegistrazioneUtenti)

Una volta fatto login sulla piattaforma RMAP, si potrà inserire le proprie osservazioni manuali spostando il mouse sul menù "Partecipa" e clicakando sulla voce "aggiungi osservazioni manuali", che porterà l'utente direttamente sulla pagina http://rmap.cc/insertdata/manualdata

La prima operazione da fare è indicare la posizione esatta del sito di osservazione. Questo può essere fatto alternativamente in tre modi:
* scegliendo una delle proprie stazioni di osservazione e clickando su "Seleziona";
* indicando l'indirizzo preciso di osservazione (nome della strada esteso, così che possa essere riconosciuto correttamente) e clickando su "seleziona";
* selezionando il segnaposto (a forma di goccia, l'ultimo dal basso del gruppo di 4 pulsanti sulla sinistra della mappa) e posizionandolo con doppio click sul punto preciso della mappa. Se la posizione non è corretta il segnaposto potrà essere spostato. Questa opzione per ora non è disponibile su Android.

Qualsiasi sia il modo in cui sia stato individuato il sito di osservazione, se l'operazione si è conclusa con successo, comparirà sulla mappa il marker a forma di goccia che lo identifica.

Infine potranno essere inserite le osservazioni (tempo presente e/o visibilità e/o altezza del manto nevoso).

L'inserimento delle osservazioni viene completato clickando su "Invia".

Gruppo Meteo/RFC-rmap obsolete

2019-07-31T07:18:15Z

PaoloPatruno: /* Tabella D */

= RFC rmap versione 2.3 =
== Storia del documento ==
2019/06/18 v. 2.3 : aggiunte specifiche JSRPC

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Data Level ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"],
"51":["B11211","B11212","B11213","B11214","B11215","B11216"],
"52":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: se true riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server (default false)
* char datalevel: "sample" o "report"; prima parte del path di pubblicazione su MQTT per i dati (default "report")
* char network: "fixed" o "mobile"; prima parte del path di pubblicazione su MQTT per i dati (default "fixed")
* int lat: latitudine espressa con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* int lon: longitudine espressa con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* char mqttmaintpath: prima parte del path di pubblicazione su MQTT per i messaggi di funzionamento (default "maint")
* int sampletime: intervallo tra le misure in secondi (default 900)
* char mqttserver: server MQTT (default "rmap.cc")
* char mqttuser: MQTT user ( no default)
* char mqttpass: MQTT password ( no default)
* char ntpserver: NTP server (no default)
* array int[6] date: set date and time [esempio: 2014,2,10,18,45,18] (no default)
* array byte mac[6]: ethernet mac address (esempio: use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.) (no default)
* bool save: if true save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server (default false)
* array sens:
** char tr: timerange (esempio: "1,0,60") (no default)
** char lev: level (esempio "1,-,-,-") (no default)
** char var: variabile tabella B (esempio "B13011") (no default)
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc", "mqttuser":"myuser", "mqttpass":"mypassword"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"datalevel":"report", "network":"fixed", "lon":1112345, "lat":4412345}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Discussione:Gruppo Meteo/RFC-rmap obsolete

2019-06-19T16:57:50Z

PaoloPatruno: Creata pagina con '= questioni aperte durante il seminario del 19/6/2019 = * il concetto di stazione non è contemplato nel datamodel; ne deriva quindi poca chiarezza quando il suo uso è richi...'

= questioni aperte durante il seminario del 19/6/2019 =

* il concetto di stazione non è contemplato nel datamodel; ne deriva quindi poca chiarezza quando il suo uso è richiesto:
** nella definizione dell'uso del protocollo MQTT al punto 1.6.1.6 http://www.raspibo.org/wiki/index.php?title=Gruppo_Meteo/RFC-rmap#Stato_della_connessione dove il soggetto che sta effettuando la connessione non è definito chiaramente
** nella definizione delle JSRPC over MQTT 1.6.1.9 http://www.raspibo.org/wiki/index.php?title=Gruppo_Meteo/RFC-rmap#Remote_procedure_over_MQTT cove il destinatario della richiesta RPC anche in questo caso non è chiaro

Una possibile soluzione sarebbe quella di modellare anche la stazione (ad esempio ident -> stazione -> modulo -> sensore) oppure semplificare il tutto e considerare solo il livello di metadati definiti nei due casi.
La discussione è aperta.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T15:56:34Z

PaoloPatruno: /* RFC rmap versione 2.2 */

= RFC rmap versione 2.3 =
== Storia del documento ==
2019/06/18 v. 2.3 : aggiunte specifiche JSRPC

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Data Level ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: se true riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server (default false)
* char datalevel: "sample" o "report"; prima parte del path di pubblicazione su MQTT per i dati (default "report")
* char network: "fixed" o "mobile"; prima parte del path di pubblicazione su MQTT per i dati (default "fixed")
* int lat: latitudine espressa con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* int lon: longitudine espressa con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* char mqttmaintpath: prima parte del path di pubblicazione su MQTT per i messaggi di funzionamento (default "maint")
* int sampletime: intervallo tra le misure in secondi (default 900)
* char mqttserver: server MQTT (default "rmap.cc")
* char mqttuser: MQTT user ( no default)
* char mqttpass: MQTT password ( no default)
* char ntpserver: NTP server (no default)
* array int[6] date: set date and time [esempio: 2014,2,10,18,45,18] (no default)
* array byte mac[6]: ethernet mac address (esempio: use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.) (no default)
* bool save: if true save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server (default false)
* array sens:
** char tr: timerange (esempio: "1,0,60") (no default)
** char lev: level (esempio "1,-,-,-") (no default)
** char var: variabile tabella B (esempio "B13011") (no default)
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc", "mqttuser":"myuser", "mqttpass":"mypassword"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"datalevel":"report", "network":"fixed", "lon":1112345, "lat":4412345}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T15:35:08Z

PaoloPatruno: /* config */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Data Level ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: se true riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server (default false)
* char datalevel: "sample" o "report"; prima parte del path di pubblicazione su MQTT per i dati (default "report")
* char network: "fixed" o "mobile"; prima parte del path di pubblicazione su MQTT per i dati (default "fixed")
* int lat: latitudine espressa con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* int lon: longitudine espressa con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* char mqttmaintpath: prima parte del path di pubblicazione su MQTT per i messaggi di funzionamento (default "maint")
* int sampletime: intervallo tra le misure in secondi (default 900)
* char mqttserver: server MQTT (default "rmap.cc")
* char mqttuser: MQTT user ( no default)
* char mqttpass: MQTT password ( no default)
* char ntpserver: NTP server (no default)
* array int[6] date: set date and time [esempio: 2014,2,10,18,45,18] (no default)
* array byte mac[6]: ethernet mac address (esempio: use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.) (no default)
* bool save: if true save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server (default false)
* array sens:
** char tr: timerange (esempio: "1,0,60") (no default)
** char lev: level (esempio "1,-,-,-") (no default)
** char var: variabile tabella B (esempio "B13011") (no default)
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc", "mqttuser":"myuser", "mqttpass":"mypassword"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"datalevel":"report", "network":"fixed", "lon":1112345, "lat":4412345}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T15:29:37Z

PaoloPatruno: /* config */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Data Level ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: se true riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server (default false)
* char datalevel: "sample" o "report"; prima parte del path di pubblicazione su MQTT per i dati (default "report")
* char network: "fixed" o "mobile"; prima parte del path di pubblicazione su MQTT per i dati (default "fixed")
* int lat: latitudine espressa con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* int lon: longitudine espressa con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* char mqttmaintpath: prima parte del path di pubblicazione su MQTT per i messaggi di funzionamento (default "maint")
* int sampletime: intervallo tra le misure in secondi (default 900)
* char mqttserver: server MQTT (default "rmap.cc")
* char mqttuser: MQTT user ( no default)
* char mqttpassword: MQTT password ( no default)
* char ntpserver: NTP server (no default)
* array int[6] date: set date and time [esempio: 2014,2,10,18,45,18] (no default)
* array byte mac[6]: ethernet mac address (esempio: use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.) (no default)
* bool save: if true save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server (default false)
* array sens:
** char tr: timerange (esempio: "1,0,60") (no default)
** char lev: level (esempio "1,-,-,-") (no default)
** char var: variabile tabella B (esempio "B13011") (no default)
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T13:41:39Z

PaoloPatruno: /* config */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Data Level ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: se true riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server (default false)
* char datalevel: "sample" o "report"; prima parte del path di pubblicazione su MQTT per i dati (default "report")
* char network: "fixed" o "mobile"; prima parte del path di pubblicazione su MQTT per i dati (default "fixed")
* char mqttmaintpath: prima parte del path di pubblicazione su MQTT per i messaggi di funzionamento (default "maint")
* int sampletime: intervallo tra le misure in secondi (default 900)
* char mqttserver: server MQTT (default "rmap.cc")
* char mqttuser: MQTT user ( no default)
* char mqttpassword: MQTT password ( no default)
* char ntpserver: NTP server (no default)
* array int[6] date: set date and time [esempio: 2014,2,10,18,45,18] (no default)
* array byte mac[6]: ethernet mac address (esempio: use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.) (no default)
* bool save: if true save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server (default false)
* array sens:
** char tr: timerange (esempio: "1,0,60") (no default)
** char lev: level (esempio "1,-,-,-") (no default)
** char var: variabile tabella B (esempio "B13011") (no default)
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T13:29:33Z

PaoloPatruno: /* Root topic */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Data Level ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: se true riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT per i dati
* char mqttmaintpath: prima parte del path di pubblicazione su MQTT per i messaggi di funzionamento
* int sampletime: intervallo tra le misure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* array int[6] date: set date and time [esempio: 2014,2,10,18,45,18]
* array byte mac[6]: ethernet mac address (esempio: use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.)
* bool save: if true save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char tr: timerange (esempio: "1,0,60")
** char lev: level (esempio "1,-,-,-")
** char var: variabile tabella B (esempio "B13011")
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T13:23:30Z

PaoloPatruno: /* config */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: se true riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT per i dati
* char mqttmaintpath: prima parte del path di pubblicazione su MQTT per i messaggi di funzionamento
* int sampletime: intervallo tra le misure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* array int[6] date: set date and time [esempio: 2014,2,10,18,45,18]
* array byte mac[6]: ethernet mac address (esempio: use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.)
* bool save: if true save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char tr: timerange (esempio: "1,0,60")
** char lev: level (esempio "1,-,-,-")
** char var: variabile tabella B (esempio "B13011")
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T13:19:21Z

PaoloPatruno: /* HTTP */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char tr: timerange (esempio: "1,0,60")
** char lev: level (esempio "1,-,-,-")
** char var: variabile tabella B (esempio "B13011")
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/<myuser>/945000,4530000/fixed/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T13:12:58Z

PaoloPatruno: /* config */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char tr: timerange (esempio: "1,0,60")
** char lev: level (esempio "1,-,-,-")
** char var: variabile tabella B (esempio "B13011")
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T13:09:41Z

PaoloPatruno: /* config */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char tr: "1,0,60"
** char lev: "1,-,-,-"
** char var: "B13011"
** any ext: configurazione relativa a una implementazione specifica di un sensore nella stazione OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"1,0,60", "lev":"1,-,-,-", "var":"B130111", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"tr":"254,0,0", "lev":"105,2000,-,-", "var":"B12101", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T13:03:36Z

PaoloPatruno: /* HTTP */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char mqttpath: seconda parte del path di pubblicazione su MQTT
** any ext configurazione relativa a una implementazione specifica della stazione (ad esempio configurazione di un sensore) OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server (opzionale)

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

Per dati non differiti è possibile omettere la chiave "t" nel payload.
* get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0}
risposta:
OK

* get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T12:58:32Z

PaoloPatruno: /* HTTP */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char mqttpath: seconda parte del path di pubblicazione su MQTT
** any ext configurazione relativa a una implementazione specifica della stazione (ad esempio configurazione di un sensore) OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server

Se l'invio dei dati ha successo la risposta terminerà con la stringa "OK".

Ad esempio:
get:
http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}
risposta:
OK

get:
http://rmap.cc/http2mqtt/?time
risposta:
19/06/18,13:06:59+00 please set topic

Per dati non differiti è possibile omettere "t":"2015-07-30T15:30:00" nel payload.

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T12:53:25Z

PaoloPatruno:

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char mqttpath: seconda parte del path di pubblicazione su MQTT
** any ext configurazione relativa a una implementazione specifica della stazione (ad esempio configurazione di un sensore) OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

====== pinout ======
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

====== recovery ======
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

====== resend ======
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

====== reboot ======
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server

Ad esempio:

http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}

Per dati non differiti è possibile omettere "t":"2015-07-30T15:30:00" nel payload.

Se l'invio dei dati ha successo la risposta sarà "OK".

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T12:50:30Z

PaoloPatruno: /* recovery */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char mqttpath: seconda parte del path di pubblicazione su MQTT
** any ext configurazione relativa a una implementazione specifica della stazione (ad esempio configurazione di un sensore) OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

==== pinout ====
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

==== recovery ====
Richiede il re-invio dei dati non trasmessi al server; senza parametri

esempio:
{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

==== resend ====
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

==== reboot ====
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server

Ad esempio:

http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}

Per dati non differiti è possibile omettere "t":"2015-07-30T15:30:00" nel payload.

Se l'invio dei dati ha successo la risposta sarà "OK".

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T12:49:54Z

PaoloPatruno: /* reboot */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char mqttpath: seconda parte del path di pubblicazione su MQTT
** any ext configurazione relativa a una implementazione specifica della stazione (ad esempio configurazione di un sensore) OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

==== pinout ====
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

==== recovery ====
Richiede il re-invio dei dati non trasmessi al server; senza parametri

{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

==== resend ====
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

==== reboot ====
Richiede il riavvio della stazione

esempio:
{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server

Ad esempio:

http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}

Per dati non differiti è possibile omettere "t":"2015-07-30T15:30:00" nel payload.

Se l'invio dei dati ha successo la risposta sarà "OK".

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T12:49:13Z

PaoloPatruno: /* resend */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char mqttpath: seconda parte del path di pubblicazione su MQTT
** any ext configurazione relativa a una implementazione specifica della stazione (ad esempio configurazione di un sensore) OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

==== pinout ====
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

==== recovery ====
Richiede il re-invio dei dati non trasmessi al server; senza parametri

{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

==== resend ====
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2014,2,10,18,45,18]
* int[6] dte: end date and time; anno, mese, giorno, ora, minuti, secondi [esempio: 2015,3,25,12,0,0]

esempio:
{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

==== reboot ====
Richiede il riavvio della stazione

{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server

Ad esempio:

http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}

Per dati non differiti è possibile omettere "t":"2015-07-30T15:30:00" nel payload.

Se l'invio dei dati ha successo la risposta sarà "OK".

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T12:46:41Z

PaoloPatruno: /* togglepin */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char mqttpath: seconda parte del path di pubblicazione su MQTT
** any ext configurazione relativa a una implementazione specifica della stazione (ad esempio configurazione di un sensore) OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

==== pinout ====
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "pinout", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

==== recovery ====
Richiede il re-invio dei dati non trasmessi al server; senza parametri

{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

==== resend ====
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time [2014,2,10,18,45,18]
* int[6] dte: end date and time [2015,3,25,12,0,0]

{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

==== reboot ====
Richiede il riavvio della stazione

{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server

Ad esempio:

http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}

Per dati non differiti è possibile omettere "t":"2015-07-30T15:30:00" nel payload.

Se l'invio dei dati ha successo la risposta sarà "OK".

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T12:44:44Z

PaoloPatruno: /* configure */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== config ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default e rimuove ogni sensore precedentemente configurato; questa operazione è la prima ad essere effettuata dal server
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int sampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into permanent memory; questa operazione è l'ultima ad essere effettuata dal server
* array sens:
** char mqttpath: seconda parte del path di pubblicazione su MQTT
** any ext configurazione relativa a una implementazione specifica della stazione (ad esempio configurazione di un sensore) OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

esempi:
* reset, configurazione e salvatataggio in una unica RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "sensors":[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}
* reset, configurazione, addizione sensori e salvataggio in differenti RPC
{"jsonrpc": "2.0", "method": "config", "params": {"reset":true,}, "id": 0}
{"jsonrpc": "2.0", "method": "config", "params": {"mqttserver":"rmap.cc"}, "id": 1}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 2}
{"jsonrpc": "2.0", "method": "config", "params": {"sens":[{"mqttpath":"105,2000,,,/1,0,900", ext":{"driver":"TMP"}}]}, "id": 3}
{"jsonrpc": "2.0", "method": "config", "params": {"save":true}, "id": 4}

==== togglepin ====
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number (pins 4,5,6,7 are supported)
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "togglepin", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

==== recovery ====
Richiede il re-invio dei dati non trasmessi al server; senza parametri

{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

==== resend ====
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time [2014,2,10,18,45,18]
* int[6] dte: end date and time [2015,3,25,12,0,0]

{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

==== reboot ====
Richiede il riavvio della stazione

{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server

Ad esempio:

http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}

Per dati non differiti è possibile omettere "t":"2015-07-30T15:30:00" nel payload.

Se l'invio dei dati ha successo la risposta sarà "OK".

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T10:45:48Z

PaoloPatruno: /* configure */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== configure ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int mqttsampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]: ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into EEPROM
* array sensor:
** char mqttpath: seconda parte del path di pubblicazione su MQTT
** any ext configurazione relativa a una implementazione specifica della stazione (ad esempio configurazione di un sensore) OPZIONALE:

ad esempio nella implementazione Stima ext contiene:
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

{"jsonrpc": "2.0", "method": "configure", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", sensor[{"mqttpath":"105,2000,,/1,0,900", ext":{"driver":"HIH"}}]}, "id": 0}

==== togglepin ====
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number (pins 4,5,6,7 are supported)
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "togglepin", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

==== recovery ====
Richiede il re-invio dei dati non trasmessi al server; senza parametri

{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

==== resend ====
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time [2014,2,10,18,45,18]
* int[6] dte: end date and time [2015,3,25,12,0,0]

{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

==== reboot ====
Richiede il riavvio della stazione

{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server

Ad esempio:

http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}

Per dati non differiti è possibile omettere "t":"2015-07-30T15:30:00" nel payload.

Se l'invio dei dati ha successo la risposta sarà "OK".

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.

Gruppo Meteo/RFC-rmap obsolete

2019-06-18T08:56:09Z

PaoloPatruno: /* Remote procedure over MQTT */

= RFC rmap versione 2.2 =

== Definizioni ==

==== Campionamento e processo di misurazione ====
* Campionamento è il processo per ottenere una discretizzata sequenza di misure di una quantità.
* Misurazione: processo volto a ottenere sperimentalmente uno o più valori che possono essere ragionevolmente attribuiti a una grandezza (UNI CEI 70099:2008);
* Valore: elemento di un sistema di misura che è direttamente influenzato dal fenomeno, corpo o sostanza che propongono la grandezza da sottoporre a misurazione (UNI CEI 70099:2008). Una osservazione (valore di una grandezza) è il risultato del processo di campionamento. Nel contesto di analisi di serie, un'osservazione è derivata da un numero di campioni.
* Risultato di misura: insieme di valori attribuiti a un misurando congiuntamente a ogni altra informazione pertinente disponibile (UNI CEI 70099:2008);
* Taratura (Calibration): operazione eseguita in condizioni specificate, che in una prima fase stabilisce una relazione tra i valori di una grandezza, con le rispettive incertezze di misura, forniti da campioni di misura, e le corrispondenti indicazioni, comprensive delle incertezze di misura associate, e in una seconda fase usa queste informazioni per stabilire una relazione che consente di ottenere un risultato di misura a partire da un'indicazione (UNI CEI 70099:2008). NOTA: Il termine "calibrazione" non dovrebbe essere usato per designare la taratura.
* Trasduttore di misura: dispositivo, impiegato in una misurazione, che fornisce una grandezza di uscita avente una relazione specificata con la grandezza di ingresso (UNI CEI 70099:2008). ESEMPI Termocoppia, trasformatore di corrente elettrica, estensimetro, elettrodo per la misurazione del pH, tubo di Bourdon, lama bimetallica.
* Variabili atmosferiche come la velocità del vento, temperatura, pressione e umidità sono funzioni di quattro dimensioni - due orizzontali, una verticale e una temporale. Esse variano irregolarmente in tutte e quattro, e lo scopo dello studio del campionamento è quello di definire le procedure di misura pratiche per ottenere osservazioni rappresentative con incertezze accettabili nelle stime delle medie e variabilità.

==== Data Level ====

* Dati Level I , sono le letture dirette degli strumenti espresse in appropriate unità fisiche e georeferenziate (campionamenti)
* Dati Level II, dati riconosciuti come variabili meteorologiche (osservazioni/misurazioni); possono essere ottenuti direttamente da strumenti o derivati dai dati Level I
* Dati Level III sono quelli contenuti in dataset internamente consistenti, generalmente su grigliato.

I dati scambiati a livello internazionale sono livello II o livello III

==== Report ====

Un report è un insieme (sincrono) di osservazioni a livello II completo di metadati o con la possibilità di ricostruire i metadati.

==== Protocolli per R-map ====

* MQTT (Message Queue Telemetry Transport) è un protocollo publish/subscribe particolarmente leggero, adatto per la comunicazione M2M tra dispositivi con poca memoria o potenza di calcolo e server o message broker.
* AMQP (Advanced Message Queuing Protocol) è protocollo per comunicazioni attraverso code di messaggi. Sono garantite l'interoperabilità, la sicurezza, l'affidabilità, la persistenza. Nella sua implementazione Rabbitmq exporta un broker MQTT e fornisce delle api web

==== Sistema di misura ====

Un [[sistema di misura]] è costituito da 3 componenti:
* [[sensore]]: trasforma le variazioni di una grandezza misurata in variazioni di una grandezza di tipo elettrico;
* sistema di controllo deputato a svolgere le seguenti funzioni:
# acquisizione ad intervalli prestabiliti dei segnali provenienti dal sensore;
# eventuale memorizzazione locale dei dati;
# trasmissione dei dati.
* sistema di alimentazione.

== Visione generale ==

Seguendo un semplice flusso dei dati di una rete rmap compatibile si possono prevedere le seguenti fasi:

* digitalizzazione dei campionamenti o osservazioni
* pubblicazione dei campionamenti su broker MQTT con root topic sample/
* pubblicazione delle osservazioni su broker MQTT con root topic report/
* eventuale trasformazione dei campionamenti (level I) in osservazioni (level II) e eventuale pubblicazione sul broker MQTT
* composizione di un report
* invio del report ad un broker tramite AMQP
* archiviazione dei dati in modo permanente
* disponibilità dei dati in archivio tramite web services

Questo è uno schema tra i più semplici; rimane la possibilità di articolarlo replicando i servizi, distribuendoli in rete etc.

== Data Model: Dati e Metadati ==

Ogni dato è un valore associato a 6 metadati univoci.
* Time: date time della osservazione o di termine del periodo di osservazione
* Longitudine, latitudine e identificativo: coordinate geografiche e identificativo del generatore del dati
* Network: definisce stazioni con caratteristiche omogenee (classe degli strumenti, rappresentatività e/o stazioni mobili o fisse)
* Time range: indica osservazione o tempo della previsione ed eventuale elaborazione “statistica” in forma codificata tramite tabella
* Level: le coordinate verticali (eventualmente strato) in forma codificata tramite tabella
* Variabile: parametro fisico definito con una descrizione, unità di misura , campo di misura e cifre significative

Ogni dato può essere dotato inoltre di attributi (a esempio prodotti dal controllo di qualità) definiti dalla stessa tabella variabili.
E' inoltre possibile associare dei dati statici (di anagrafica, ossia invariabili nel tempo, timerange e level) con i soli metadati longitudine, latitudine, identicativo, report

=== Time ===
L'istante di riferimento del dato in ora GMT: si riferisce all'istante finale della misurazione. Di conseguenza, una precipitazione cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

=== Longitudine, latitudine e identificativo ===
Le coordinate sono espresse con rappresentazione sessadecimale.
* longitudine: coordinate geografiche (ETRF89 - WGS84)
* latitudine: coordinate geografiche (ETRF89 - WGS84)
* identificativo : identificativo fornitore dati/volo aereo/nave (obbligatorio nel caso di stazioni mobili)

=== Network ===
Definisce stazioni con caratteristiche omogenee: classe degli strumenti, rappresentatività e/o stazioni mobili o fisse.
Per le stazioni che non appartengono a reti omogenee con un ente gestore il valore di "network" segue la seguente regola:
* "fixed" per tutte le stazioni fisse, le cui coordinate non variano nel tempo
* "mobile" per tutte le stazioni/punti di misura le cui coordinate cambiano nel tempo

=== Time range ===

Definition of the main concepts related to the description of time range and statistical processing for observed and forecast data:

Validity time is defined as the time at which the data are measured or at which forecast is valid; for statistically processed data, the validity time is the end of the time interval.

Reference time is defined as the nominal time of an observation for observed values, or as the time at which a model forecast starts for forecast values.

The date and time in rmap are always the validity date and time of a value, regardless of the value being an observation or a forecast.

The Timerange field is composed by:
* pindicator : integer from table timerange ( unsigned integer)
* P1 is defined as the difference in seconds between validity time and reference time. For forecasts it is the positive forecast time. For observed values, the reference time is usually the same as the validity time, therefore P1 is zero. However P1 < 0 is a valid case for reports containing data in the past with respect to the nominal report time. (unsigned integer)
* P2 is defined as the duration of the period over which statistical processing is performed, and is always nonnegative. Note that, for instantaneous values, P2 is always zero. (usigned integer)

The following table lists the possible values for pindicator and the interpretation of the corresponding values of P1 and P2 specifying a time range:
{|class="wikitable"
|-
| Pindicator || Description
|-
| 0 || Average
|-
| 1 || Accumulation
|-
| 2 || Maximum
|-
| 3 || Minimum
|-
| 4 || Difference (value at the end of the time range minus value at the beginning)
|-
| 5 || Root Mean Square
|-
| 6 || Standard Deviation
|-
| 7 || Covariance (temporal variance)
|-
| 8 || Difference (value at the beginning of the time range minus value at the end)
|-
| 9 || Ratio
|-
| 51 || Climatological Mean Value
|-
| 10-191 || Reserved
|-
| 192-254 || Reserved for Local Use
|-
| 200 || Vectorial mean
|-
| 201 || Mode
|-
| 202 || Standard deviation vectorial mean
|-
| 203 || Vectorial maximum
|-
| 204 || Vectorial minimum
|-
| 205 || Product with a valid time ranging inside the given period
|-
| 254 || Istantaneous value
|}

=== Level ===
Level/layer

This table lists the possible values for leveltype1 or leveltype2 and the interpretation of the corresponding numerical value l1 or l2. Leveltype values in the range 0-255 can be used for defining either a single level (leveltype1) or a surface delimiting a layer (leveltype1 and leveltype2) with any meaningful combination of leveltypes; values of leveltype >255 have a special use for encoding cloud values in SYNOP reports and they do not strictly define physical surfaces.

The idea is borrowed from the GRIB edition 2 fixed surface concept and the values for leveltype coincide with the GRIB standard where possible.

The level field is composed by:
* leveltype : from level table (unsigned integer value)
* l1 : first level defined by leveltype (unsigned integer value)
* l2 : second level defined by leveltype ; needed with layer only, missing otherwise (unsigned integer value)

Should be everytime l1 < l2

{|class="wikitable"
| leveltype || Meaning || unit/contents of l1/l2
|-
|0 || Reserved
|-
|1 || Ground or Water Surface
|-
|2 || Cloud Base Level
|-
|3 || Level of Cloud Tops
|-
|4 || Level of 0C Isotherm
|-
|5 || Level of Adiabatic Condensation Lifted from the Surface
|-
|6 || Maximum Wind Level
|-
|7 || Tropopause
|-
|8 || Nominal Top of the Atmosphere
|-
|9 || Sea Bottom
|-
|10-19 || Reserved
|-
|20 || Isothermal Level || K/10
|-
|21-99 || Reserved
|-
|100 || Isobaric Surface || Pa
|-
|101 || Mean Sea Level
|-
|102 || Specific Altitude Above Mean Sea Level || mm
|-
|103 || Specified Height Level Above Ground || mm
|-
|104 || Sigma Level
|-
|105 || Hybrid Level
|-
|106 || Depth Below Land Surface || mm
|-
|107 || Isentropic (theta) Level || K/10
|-
|108 || Level at Specified Pressure Difference from Ground to Level || Pa
|-
|109 || Potential Vorticity Surface || 10-9 K m2 kg-1 s-1
|-
|110 || Reserved
|-
|111 || Eta (NAM) Level (see note below) || 1/10000
|-
|112 || 116 Reserved
|-
|117 || Mixed Layer Depth || mm
|-
|118-159 || Reserved
|-
|160 || Depth Below Sea Level || mm
|-
|161-191 || Reserved
|-
|200 || Entire atmosphere (considered as a single layer)
|-
|201 || Entire ocean (considered as a single layer)
|-
|204 || Highest tropospheric freezing level
|-
|206 || Grid scale cloud bottom level
|-
|207 || Grid scale cloud top level
|-
|209 || Boundary layer cloud bottom level
|-
|210 || Boundary layer cloud top level
|-
|211 || Boundary layer cloud layer
|-
|212 || Low cloud bottom level
|-
|213 || Low cloud top level
|-
|214 || Low cloud layer
|-
|215 || Cloud ceiling
|-
|220 || Planetary Boundary Layer
|-
|222 || Middle cloud bottom level
|-
|223 || Middle cloud top level
|-
|224 || Middle cloud layer
|-
|232 || High cloud bottom level
|-
|233 || High cloud top level
|-
|234 || High cloud layer
|-
|235 || Ocean Isotherm Level || K/10
|-
|240 || Ocean Mixed Layer
|-
|241 || Ordered Sequence of Data
|-
|242 || Convective cloud bottom level
|-
|243 || Convective cloud top level
|-
|244 || Convective cloud layer
|-
|245 || Lowest level of the wet bulb zero
|-
|246 || Maximum equivalent potential temperature level
|-
|247 || Equilibrium level
|-
|248 || Shallow convective cloud bottom level
|-
|249 || Shallow convective cloud top level
|-
|251 || Deep convective cloud bottom level
|-
|252 || Deep convective cloud top level
|-
|253 || Lowest bottom level of supercooled liquid water layer
|-
|254 || Highest top level of supercooled liquid water layer
|-
|256 || Clouds
|-
|257 || Information about the station that generated the data
|-
|258 || (use when ltype1=256) Cloud Data group, L1 = 1 low clouds, 2 middle clouds, 3 high clouds, 0 others
|-
|259 || (use when ltype1=256) Individual cloud groups, L1 = group number
|-
|260 || (use when ltype1=256) Cloud drift, L1 = group number
|-
|261 || (use when ltype1=256) Cloud elevation, L1 = group number; (use when ltype1=264) L2 = swell wave group number
|-
|262 || (use when ltype1=256) Direction and elevation of clouds, L1 is ignored
|-
|263 || (use when ltype1=256) Cloud groups with bases below station level, L1 = group number
|-
|264 || Waves
|-
|265 || Non-physical data level || engineering ordinal level
|}

=== Variabile ===

La tabella B (vedi codifica BUFR del WMO) descrive i dati e la loro eventuale codifica.

I dati possono essere inviati come numeri a virgola mobile, interi con segno o stringhe di caratteri.
Nell'utilizzo del formato JSON i numeri a virgola mobile vendono distinti da quelli interi per la presenza del carattere ".".
Il formato consigliato è quello intero con segno per evitare problemi di troncamento nella rappresentazione dei valori.
E' anche possibile rappresentare i dati convertendo gli interi con segno in una rappresentazione decimale in una stringa
(es. "27315" per una temperatura di 273.15K)
Il valore intero con segno si ottiene moltiplicando la variabile rappresentata con la unità di misura descritta da "units" per il fattore di scala "scale".

Le restanti colonne della tabella B vengono utilizzate nella de/codifica in formato Bufr e Crex.
Fare riferimento a http://www.wmo.int/pages/prog/www/WMOCodes.html

==== Description ====
The description in table B is a simple description of the data.

==== Units ====
The units of Table B entries refer to the format of how the data is
represented. The data may be numeric or character. When data is in
character form, the character representation is always according to
the CCITT International Alphabet No. 5. The units may also refer to a
code or flag table, where the code or flag table is described in the
WMO Manual On Codes or if not provided by WMO defined as local table.
Other units are in Standard International (SI) units, such as meters
or degrees Kelvin.

==== Scale ====
The scale refers to the power of 10 that the
element has been multiplied by in order to retain the desired
precision in the transmitted data when the integer format is used.
For example, the units of
temperature are whole Kelvin degrees in Table B. But this is not
precise enough for most usages, therefore the elements are to be
multipli ed by 100 (10^2) so that the transmitted precision will be
centidegrees, a more useful precision. On the other hand, the (SI)
unit of pressure in Table B is Pascal, a rather small unit that would
result in unnecessarily precise numbers being transmitted. The BUFR Ta
ble B calls for pressure to be divided by 10 (10^-1) resulting in a
transmitted unit of 10ths of hPa, or tenths of millibars, a more
reasonable precision for meteorological usage.

==== Other values in the table B used in Bufr de/coding ====

The reference value is a value that is to be subtracted from the data
after multiplication by the scale factor, if any, before encoding into
Section 4 in order to produce, in all cases, a positive value. In the
case of lati tude and longitude, south latitude and west longitude are
negative before applying the refe rence value. If, for example, a
position of 35.50 degrees south latitude were being encoded,
multiplying -35.50 by 100 (scale of 2) would produce -3550.
Subtracting the refere nce value -9000 would give 5450 that would be
encoded.

To obtain the original value in decoding, adding back the -9000
reference value to 5450 would result in -3550, then dividing by the
scale (100) would obtain -35.50.

The data width of Table B entries is a count of how many bits the
largest possible value of an individual data item occupies.

==== Tabella variabile (B table) ====

B table example; SAMPLE VALUES ONLY ! (the full table is big !)

Get the full table from: https://github.com/ARPA-SIMC/dballe/blob/master/tables/dballe.txt

{|class="wikitable"
| Code || Description || Units || Scale
|-
| 001001 || WMO BLOCK NUMBER || Numeric || 0
|-
| 001002 || WMO STATION NUMBER || Numeric || 0
|-
| 001006 || AIRCRAFT FLIGHT NUMBER || Character || 0
|-
| 001007 || SATELLITE IDENTIFIER || CODE TABLE 1007 || 0
|-
| 001008 || AIRCRAFT REGISTRATION NUMBER OR OTHER IDENTIFICATION || Character || 0
|-
| 001011 || SHIP OR MOBILE LAND STATION IDENTIFIER || Character || 0
|-
| 001012 || DIRECTION OF MOTION OF MOVING OBSERVING PLATFORM** || DEGREE TRUE || 0
|-
| 001013 || SPEED OF MOTION OF MOVING OBSERVING PLATFORM* || M/S || 0
|-
| 012101 || TEMPERATURE/DRY-BULB TEMPERATURE || K || 2
|-
| 012102 || WET-BULB TEMPERATURE || K || 2
|-
| 012103 || DEW-POINT TEMPERATURE || K || 2
|}

== Formati ==

L'accentramento dei dati della rete comprende due passaggi:

* composizione di un report composto da una selezione di osservazioni (sincrone) di tipo II
* invio a un concentratore tramite protocollo AMQP

=== BUFR ===
Il formato BUFR è definito dal WMO:
http://www.wmo.int/pages/prog/www/WMOCodes.html

Sono utilizzabili solo alcuni template definiti dal WMO o da ECMWF:
* acars-ecmwf - ACARS ECMWF (4.145)
* acars-wmo - ACARS WMO
* airep-ecmwf - AIREP ECMWF (4.142)
* amdar-ecmwf - AMDAR ECMWF (4.144)
* amdar-wmo - AMDAR WMO
* buoy - Buoy (1.21)
* metar - Metar (0.140)
* pilot-ecmwf - Pilot (2.91)
* pilot-wmo - Pilot (2.1, 2.2, 2.3)
* pollution - Pollution (8.171)
* ship - Synop ship (autodetect)
* ship-abbr - Synop ship (abbreviated) (1.9)
* ship-auto - Synop ship (auto) (1.13)
* ship-plain - Synop ship (normal) (1.11)
* ship-reduced - Synop ship (reduced) (1.19)
* ship-second - Synop ship (second record) (1.12)
* ship-wmo - Ship WMO
* synop-ecmwf - Synop ECMWF (autodetect) (0.1)
* synop-ecmwf-auto - Synop ECMWF land auto (0.3)
* synop-ecmwf-land - Synop ECMWF land (0.1)
* synop-ecmwf-land-high - Synop ECMWF land high level station (0.1)
* synop-wmo - Synop WMO (0.1)
* temp-ecmwf - Temp ECMWF (autodetect)
* temp-ecmwf-land - Temp ECMWF land (2.101)
* temp-ecmwf-ship - Temp ECMWF ship (2.102)
* temp-radar - Temp radar doppler wind profile (6.1)
* temp-ship - Temp ship (autodetect)
* temp-wmo - Temp WMO (2.101)

E' possibile e consigliato usare un template denominato "generic" specifico per il Data Model descritto sopra con il quale è possibile la codifica di tutti i dati pubblicabili secondo lo standard RMAP.

==== generic template ====

Il template generic non è qui documentato in quanto al momento non esistono specifiche stabili.
Per la scrittura e lettura di un messaggio BUFR con template "generic" si consiglia vivamente l'utilizzo della libreria software DB-all.e https://github.com/ARPA-SIMC/dballe anche tramite tools disponibili.

=== Json ===

Ogni oggetto json è un report con tutti i dati di una certa stazione per un certo istante di riferimento.

La stazione è identificata univocamente dai seguenti campi:

* `ident`: identificativo opzionale della stazione (necessario solo se la stazione è mobile, generalmente nullo per stazioni fisse).
* `lon`: longitudine
* `lat`: latitudine
* `network`: nome della rete a cui appartiene la stazione (minuscolo).

Le latitudini e longitudini devono essere scritte come coordinate
geodetiche espresse in sessadecimale, come numero intero dopo aver
moltiplicato per 10^5 (quindi espresso in 10^-5 gradi sessadecimali).

L'istante di riferimento è il campo `datetime` (ISO 8601) che si riferisce
all'istante finale della misurazione. Di conseguenza, una precipitazione
cumulata su 30 minuti con istante di riferimento "2015-08-05T12:00:00Z" è la
precipitazione cumulata tra le 11:30:00Z e le 12:00:00Z del giorno 2015-08-05.

I dati sono nel campo `data` sotto forma di array. Ogni elemento dell'array è
un oggetto con i seguenti campi:

* livello: coordinate verticali. Si veda il capitolo dedicato.
* timerange: definisce il periodo di tempo e l'eventuale processamento (e.g. dato istantaneo, media oraria, etc). Si veda il capitolo dedicato.
* vars: oggetto i cui campi sono i codici della tabella B locale, i.e. i parametri misurati (vedi tabella relativa). Ognuno di questi è associato ad un oggetto con i campi `v` (il valore) e `a` (oggetto degli attributi del dato, in cui i campi sono altri codici della tabella B a cui è associato un valore).

Tra questi, un solo elemento non ha i campi `level` e `timerange`. Tali dati
sono relativi a dati invarianti della stazione in se (e.g. il nome, l'altezza, etc.)

==== Esempio ====

Stazione fissa (`ident: null`) delle rete (`network`) `rer` posizionata nel
punto `(9.15454, 4451485)` (`lon`, `lat`) con i seguenti dati (`data`) statici
(l'elemento dell'array che non ha `level` e `timerange`):

* Nome della stazione (`B01019`): "Torriglia"
* Altezza della stazione (`B07030`): 769.0m
* Altezza barometrica della stazione (`B07031`): 769.0m

E per l'istante di riferimento "2015-07-30T15:30:00Z" ha registrato i seguenti
dati:

* Al suolo (`level: [1, null, null, null]`) le seguenti cumulate orarie (`timerange: [1, 0, 3600]`):
** Precipitazione (`B13011`): 0.0
* A 2m dal suolo (`level: [103, 2000, null, null]`) i seguenti valori istantanei:
** Temperatura (`B12101`): 297.15K. Il dato è stato invalidato manualmente (attributo `B33196: 1`).
** Umidità relativa (`B13003`): 50%

{
"ident": null,
"network": "rer",
"lon": 915454,
"date": "2015-07-30T15:30:00Z",
"lat": 4451485,
"data": [
{
"vars": {
"B01019": {
"v": "Torriglia"
},
"B07030": {
"v": 769.0
},
"B07031": {
"v": 769.0
}
}
},
{
"timerange": [
1,
0,
3600
],
"vars": {
"B13011": {
"a": {
},
"v": 0.0
}
},
"level": [
1,
null,
null,
null
]
},
{
"timerange": [
254,
0,
0
],
"vars": {
"B12101": {
"a": {
"B33196": 1
},
"v": 297.15
},
"B13003": {
"a": {
},
"v": 50
}
},
"level": [
103,
2000,
null,
null
]
}
]
}

==== JSON Lines text format ====

In alternativa al formato json è possibile utilizzare questa variante che in molti casi risulta vantaggiosa.

La documentazione del formato JSON Lines text format, chiamato anche newline-delimited JSON è reperibile qui:
http://jsonlines.org/

== Protocolli ==

L'accentramento dei dati della rete può essere effettuato a differenti livelli determinati dall'hardware disponibile, dal tipo di connettività e dai dati da inviare:

* invio dei dati (campionamenti o osservazioni) a un broker tramite protocollo MQTT
* invio di un report composto da un insieme di osservazioni (sincrone) di tipo II a un broker tramite protocollo AMQP

=== Dati e Metadati su MQTT ===

==== Versioni del protocollo utilizzabili ====
MQTT protocol versions 3.1 and 3.1.1

Non utilizzare SSL/TLS

==== Autenticazione ====
MQTT provides username/password authentication as part of the protocol.
To pubblish mqtt messages on a rmap server follow standard registration procedure on rmap server and get username and password.

==== Quality of Service ====

E possibile utilizzare Quality of Service 0 o 1.
Ovviamente quando possibile è consigliato utilizzare QoS 1.

==== Client ID ====
MQTT 3.1.1 allows clients to connect with a zero length client id and have the broker generate a client id for them.
Use this method as alternative method to the only allowed method that is to use an ID starting with the username used in authentication.

==== Root topic ====

* I dati pubblicati nel root path MQTT '''sample/''' appartengono solo al level type I
* I dati pubblicati nel root path MQTT '''report/''' appartengono solo al level type II

==== Stato della connessione ====

Alla connessione deve essere inviato dalla stazione una eventuale segnalazione di sconnessione gestita male con will (retained):

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{"v": "error01"}'''

poi questo messaggio viene "ricoperto" con:

'''maint/IDENT/COORDS/NETWORK/254,0,0/265,0,-,-/B01213"/'''

payload : '''{ "v": "conn"}'''

alla disconnessione allo stesso topic dovrà essere inviato:

payload : '''{ "v": "disconn"}'''

==== Data e Constant Data ====

===== Data =====
Ogni topic corrisponde ai metadati univoci, mentre il payload è composto dal valore, eventuali attributi e dall'instante temporale.
Json è il formato per il payload.

Forma simbilica del topic:

'''<rootpath>/IDENT/COORDS/NETWORK/TRANGE/LEVEL/VAR'''

* '''IDENT''': identificativo dell'utente che pubblica i dati o identificativo della stazione per stazioni mobili, “-” per stazioni fisse non associate a un singolo utente
* '''COORDS''': nella forma lon,lat. Le coordinate sono espresse con rappresentazione sessadecimale nella forma int(valore*10^5) con eventuale segno negativo
* '''NETWORK''': etichetta massimo 16 caratteri
* '''TRANGE''': nella forma indicator,p1,p2; Indicator e p2 interi senza segno, p1 intero con eventuale segno negativo. “-” per valori non significativi
* '''LEVEL''': nella forma type1,l1,type2,l2; Type1, type2 interi con eventuale segno negativo, l1e l2 interi con eventuale segno negativo. “-” per valori non significativi
* '''VAR''': nella forma BXXYYY come da tabelle B codice BUFR WMO

Il payload è in formato JSON: '''{ “v”: VALUE, “t”: TIME, “a”: { “BXXYYY”: VALUE, … } }'''
* '''VALUE''': valore in formato intero o a virgola mobile o stringa (vedi specifiche precedenti)
* '''TIME''': formato YYYY-mm-ddTHH:MM:SS.MSC (secondi e millisecondi opzionali) un sottoinsime delle specifiche in https://tools.ietf.org/html/rfc3339
Gli attributi (“a”) solitamente per controllo di qualità sono opzionali; la chiave fa riferimento alla tabella B e VALUE ha la stessa rappresentazione di VALUE descritto sopra.

===== Constant Data =====

I metadati per i dati costanti (anagrafica) sono caratterizzati da questo path:

'''<rootpath>/IDENT/COORDS/NETWORK/-,-,-/-,-,-,-/'''

con payload simile a quello dei dati, in particolare dovrà essere omessa la chiave “t”: '''{ “v”: VALUE, “a”: { “BXXYYY”: VALUE, … } }'''

==== Estensioni ====

Queste estensioni sono state create per ottimizzare in alcuni casi l'invio dei dati.
Possono essere utilizzate solo quando il loro utilizzo comporti un risparmio sul numero di byte necessari per la trasmissione.

===== Prima forma contratta tabella D =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.

Il topic e come quello della forma standard senza l'ultimo parametro "VAR".
Ad esempio:

test/myuser/1131908,4449301/fixed/254,0,0/103,2000,-,-

Il payload prevede due parametri:
* "d" che descrive quale elemento della tabella D è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR" descritti nell'elemento in tabella D

Ad esempio:

{"d":50,"p":[1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20,21,22,23,24]}

====== Tabella D ======

dtable={"50":["B49198","B49199","B49200","B49201","B49202","B49203","B49204",
"B49205","B49206","B49207","B49208","B49209","B49210","B49211",
"B49212","B49213","B49214","B49215","B49216","B49217","B49218",
"B49219","B49220","B49221"]}

===== Seconda forma contratta tabella E =====

In questa forma contratta non è previsto l'invio di attributi del dato.
In questa forma contratta non è necessario inviare messaggi relativi allo stato della connessione.
Il topic e come quello della forma standard senza i parametri "VAR", "LEVEL" e "TRANGE".
Ad esempio:

test/myuser/1131908,4449301/fixed

Il payload prevede due parametri:
* "e" che descrive quale elemento della tabella E è preso in considerazione
* "p" con un array di valori corrispondenti ai "VAR", "LEVEL" e "TRANGE" descritti nell'elemento in tabella E

Ad esempio:

{"p":[27315,73],"e":1}

====== Tabella E ======

# template 1: temperature and humidity
etable={"1":{"B12101"={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"={"timerange":"254,0,0","level":"103,2000,-,-"}},

# template 2: temperature, humidity and PM2.5
"2":{"B12101"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B13003"]={"timerange":"254,0,0","level":"103,2000,-,-"},
"B15198"]={"timerange":"254,0,0","level":"103,2000,-,-"}}
}

==== Remote procedure over MQTT ====

Le RPC sono in formato json (json-rpc) e utilizzano due topics MQTT:

topiccom="rpc/"+user+"/"+mac+"/com"
topicres="rpc/"+user+"/"+mac+"/res"

* topiccom è il topic utilizzato per l'invio delle richieste RPC al server mentre topicres è il topic utilizzato dal server per le risposte.
* user è l'utente e dovrà essere lo stesso utilizzato per l'autenticazione al broker MQTT.
* mac è l'identificativo univoco del device (numerico 12 cifre, ossia 6 numeri di 2 cifre)

Il payload seguirà le specifiche [https://www.jsonrpc.org/specification JSON-RPC 2.0 Specification]

Ogni payload comando/risposta Jsonrpc non deve superare i 144 caratteri.

Non sono ammessi accessi concorrenziali e ogni utente è tenuto a gestire di conseguenza gli accessi.

===== Remote procedure supportate =====

====== configure ======
Configura la stazione.

parametri:
* bool reset: riporta le configurazioni ai valori di default
* char mqttrootpath: prima parte del path di pubblicazione su MQTT
* int mqttsampletime: intervallo tra le minure in secondi
* char mqttserver: server MQTT
* char mqttuser: MQTT user
* char mqttpassword: MQTT password
* char ntpserver: NTP server
* int[6] date: set date and time [2014,2,10,18,45,18]
* byte mac[6]= ethernet mac address; use (0,0,0,0,0,1) for board1, use (0,0,0,0,0,2) for board2 etc.
* bool save: save configuration into EEPROM

configurazione relativa a una implementazione specifica della stazione (ad esempio configurazione di un sensore) OPZIONALE:
* any ext

ad esempio nella implementazione Stima ext contiene:
* char mqttpath: seconda parte del path di pubblicazione su MQTT
* char driver: driver locale del sensore
* char type: driver remoto
* int address: address I2C

{"jsonrpc": "2.0", "method": "configure", "params": {"reset":true,"save":true,"mqttserver":"rmap.cc", "ext":{"driver":"HIH"}}, "id": 0}

==== togglepin ====
Attuatore che accende/spegne uno o più pin.

parametri:
* array di oggetti con la seguente struttura:
** integer n: pin number (pins 4,5,6,7 are supported)
** bool s: true=on; false=off

{"jsonrpc": "2.0", "method": "togglepin", "params": [{"n":4,"s":true},{"n":5,"s":false}], "id": 0}

==== recovery ====
Richiede il re-invio dei dati non trasmessi al server; senza parametri

{"jsonrpc": "2.0", "method": "sdrecovery", "id": 0}

==== resend ====
Richiede il re-invio dei dati non trasmessi al server da una data iniziale a una data finale

* int[6] dts: start date and time [2014,2,10,18,45,18]
* int[6] dte: end date and time [2015,3,25,12,0,0]

{"jsonrpc": "2.0", "method": "resend", "params": {"dts":[2014,2,10,18,45,18],"dte":[2015,3,25,12,0,0] }, "id": 0}

==== reboot ====
Richiede il riavvio della stazione

{"jsonrpc": "2.0", "method": "reboot", "id": 0}

=== HTTP ===
E' possibile utilizzare il protocollo http con una get per inviare i dati; la get http sarà immediatamente convertita dal server in una "pub" al broker mqtt.
Http è molto inefficiente rispetto mqtt e qui è utilizzato solo come "bridge" a mqtt quando dovesse essere necessario.

I parametri della get sono:
* '''topic''' il topic mqtt
* '''payload''' il payload mqtt
* '''username''' username dell'utente
* '''password''' password dell'utente
* '''time''' richiede data e ora nella risposta del server

Ad esempio:

http://rmap.cc/http2mqtt/?user=<myuser>&password=<mypassword>&topic=sample/-/945000,4530000/<myuser>/1,0,60/1,-,-,-/B13011&payload={"v":0, "t":"2015-07-30T15:30:00"}

Per dati non differiti è possibile omettere "t":"2015-07-30T15:30:00" nel payload.

Se l'invio dei dati ha successo la risposta sarà "OK".

=== AMQP ===
AMQP is a binary messaging protocol and semantic framework for microservices and enterprise messaging.

https://www.rabbitmq.com/resources/specs/amqp0-9-1.pdf

==== Versioni del protocollo supportate ====
* 0-9-1
* 0-9
* 0-8

==== Autenticazione ====
La pubblicazione dei messaggi è ammessa solo dopo autenticazione.

L'autenticazione si effettua tramite una coppia username/password fornite dall'amministratore del server.

==== Tls ====
L'uso di TLS (amqps) non è richiesto, ma potrà essere implementato in future versioni di queste specifiche.

==== Formati dei messaggi ====
Il report che costituisce il messaggio dovrà essere scritto nei formati json, jsonline o bufr sopra descritti.

===== BUFR messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_bufr".

===== JSON Line messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_jsonline".

===== JSON messages over AMQP =====

Il payload dovrà essere inviato con protocollo AMQP al broker tramite autenticazione su exchange "rmap_dbajson".

== RMAP web services ==

=== Composizione degli URL per un HTTP GET request ===

==== Versioning ====

Le `API` avranno come prefisso la versione in uso.

Ad esempio, serie temporale mensile usando la versione 1:

http://api.borinud.arpa.emr.it/v1/dbajson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== Format ====

Il secondo prametro delle api è il formato; questa la scelta:
* dbajson
* jsonline
* geojson

ad esempio:

http://api.borinud.arpa.emr.it/v1/geojson/-/1120000,4450000/generic/254,0,0/103,2000,-,-/B12101/timeseries/2013/09

==== metadati ====

La "base" della richiesta è quella descritta per il topic MQTT, i.e.:

'''/ident/coords/network/timerange/level/bcode/'''

Ad esempio:

'''/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101'''

E' l'URL che identifica la misurazione effettuata dalla stazione fissa (`-`) con longitudine 12,07738 e latitudine 44.60016 (`1207738,4460016`) per la rete `locali`; la grandezza misurata è istantanea (`254,0,0`), è stata presa a 2 metri dal suolo (`103,2000,-,-`) ed è una temperatura (`B12101`).

Ogni parametro incluso nelle "/" può essere sostituito con "*" equivalente a dire "tutti".

===== Anagrafica =====

I dati costanti nel tempo e indipendenti dal timerange e livello sono specificati così:

'''/-/<lon>,<lat>/<network>/-,-,-/-,-,-,-/*/stationdata'''

'''/<ident>/*/<network>/-,-,-/-,-,-,-/*/stationdata'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

==== Serie dei dati o sommario ====

===== Serie temporale =====

Serie temporale annuale,mensile, giornaliera e oraria:

'''/ident/coords/network/timerange/level/bcode/timeseries/year'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/timeseries/year/month/day/hour'''

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/timeseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13
/-/1207738,4460016/locali/254,0,0/103,2000,-,-/B12101/timeseries/2011/01/13/06

===== Serie spaziale =====

Serie spaziale di una rete, con granularità giornaliera o oraria (± 30 minuti):

'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day'''
'''/ident/coords/network/timerange/level/bcode/spatialseries/year/month/day/hour'''

"ident" e "coords" possono assumere il valore "*"

nel dettaglio:

'''/<ident>/<lon>,<lat>/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/spatialseries/<year>/<month>/<day>/<hour>'''

Ad esempio:

/-/*/locali/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13
/-/*/*/254,0,0/103,2000,-,-/B12101/spatialseries/2011/01/13/06

===== Riassuntivo =====

Riassuntivo di tutto il database:

'''/*/*/*/*/*/*/summaries'''

Riassuntivo di una stazione (fissa o mobile):

'''/-/<lon>,<lat>/<network>/*/*/*/summaries'''

'''/<ident>/*/<network>/*/*/*/summaries'''

Riassuntivo di una misurazione in un dato mese:

'''/*/*/<network>/<pind>,<p1>,<p2>/<lt1>,<l1>,<lt2>,<l2>/<bcode>/summaries/<year>/<month>'''

I dati restituiti sono analoghi a quelli restituiti con una richiesta dati.

=== Formati dati ===

==== Json ====
Vedi sopra formato `Json`

==== Jsonline ====
Vedi sopra formato `Jsonline`

==== Geojson ====
http://geojson.org/

Questo un esempio di `GeoJSON`:

{
"type": "FeatureCollection",
"features": [
{
"geometry": {
"type": "Point",
"coordinates": [
10.26667,
46.81667
]
},
"type": "Feature",
"properties": {
"date": "2011-01-25T00:00:00",
"level": [103,2000,null,null],
"ident": null,
"network": "locali",
"bcode": "B12101",
"value": 263.75,
"trange": [254,0,0]
}
},
...
}

== Ritrasmissioni e correzioni ==

I dati possono essere ritrasmessi e sarà l'ultimo dato ricevuto a vincere sui vecchi.

Attenzione va posta alla gestione degli attributi che possono contenere il risultato del controllo di qualità dei dati. AI dati che non superano il controllo di qualità viene aggiunta loro una flag corrispondente all'attributo B33007, che fornisce una % di confidenza del dato ( = 0 per valore invalidato). I dati con attributo B33007 dovranno quindi essere offuscati ( mancante, valore = null) alle applicazioni. In questo modo vengono gestite le correzioni, ossia è possibile che un dato sia inviato prima senza attributo B33007; poi in seguito alle procedure di controllo di qualità il dato viene invalidato e ritrasmesso con valore null e attributo B33007=0; in questo caso chi riceve il dato dovrebbe procedere a invalidarlo/rimuoverlo.
Nella gestione di questo flusso dati i tools forniti insieme alla libreria software DB-all.e possono agevolare molto il lavoro.