Linux

Pradinė schema.
Raspberry pi surenka termometrų duomenis ir PHP bei CURL’o pagalba (rašiau čia) keliauja į dvi influxdb bazes. Viena yra lokaliai pačioje avietėje, kita yra nutolusiam VPS serveryje.

Problema pažymėta raudona rodykle. Kartais dingsta namuose interneto ryšys (vis dar 5GHz antena, 100mbs planas, laukiu kada suvirins šviesolaidį). To pasekoje išsiskiria duomenys tarp abiejų influxdb.

Senesnės influxdb versijos turėjo clustering funkcionalumą, bet šitas malonumas dabar mokamas.

Taip pat yra tokie sprendimai kaip influx-relay, bet This retry logic is NOT sufficient for for long periods of downtime as all data is buffered in RAM.

Problemos sprendimo schema:

Duomenys rašomi lygiagrečiai į lokalų influxdb ir redis.

Į redis’ą patogiai rašyti galima su phpredis. Archlinux’e pkgbuild’as yra AUR’e, nutolusiam VPS’e yra Centos 7 tad ten teko susikompiliuoti iš source. Abiem atvejais reikia paredaguoti php.ini ir pridėti extension=redis.so.

Tad palyginimui kodas tarp CURL’inimo į influxdb ir redis:

//Post to influxDB
$ch = curl_init("http://127.0.0.1:8086/write?db=termometrai");
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS,"temperaturos ".$daviklioHWID."=".$tempvalue);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_exec($ch);
curl_close($ch);

//Post to redis
date_default_timezone_set("UTC"); 
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);
$redis->rPush('VPS1',"temperaturos ".$daviklioHWID."=".$tempvalue." ".strval(time()));
$redis->close;

Į redis rašau POST duomenis, tam kad kitam gale aklai galėčiau juos vėl pakišti CURL’ui. Vienas skirtumas, kad pridedu šio momento timestamp’ą. Jis reikalingas tam, kad duomenys iš redis’o iki nutolusio serverio, ryšio dingimo metu, gali keliauti ir kelias valandas. Atsiradus ryšiui ir surašius duomenis be timestamp’o į influxdb duomenys sukristu ne su laiku kada jie buvo įrašyti į redis, o su laiku kada buvo įrašyti į influxdb. Tad šiuo atveju duomenis atkeliauja jau atsinešdami ir laiką kada buvo nuskaityti.

Nutolusiam VPS serveryje duomenis iš redis’o skaito PHP skirptas. Redis duomenis skaitau su:

$redis->lPop('VPS1');

Ši funkcija paima vieną įrašą iš nurodytos “eilės” (kuri šiuo atveju yra VPS1) ir iškarto ta įrašą ištrina. Sekančiu kartu paimama kita reikšmė ir pašalinama. Tokiu būdų gaunamas duomenų FIFO.

Rezultate turime labai greitai ir labai mažai resursu naudojančia redis. Avietė pildo duomenis naudodama RPUSH, nutolęs serveris duomenis tuo pačiu metu skaito ir trina su LPOP.

Dingus ryšiui, (nutolęs serveris nemato Rasbery Pi) consumer’is kas 10 sekundžių kartoja prisijungimo procedūrą tol kol prisijungia. Po viena ima visus duomenis tol kol ištuštėja eilė. Kai eilė ištuštėja “užmiega” dešimčiai sekundžių po kurių vėl pasitikrina ar yra duomenų. Jei nėra, toliau “miega” 10 sekundžių, jei yra “sukramto” tai kas yra.

Consumer’io (php skripto) veikimą užtikrina Supervisord. Tai labai nedidelis servisas kuris gali užtikrinti bet kokio skriptuko ar programos nenutrūkstama veikimą. Jei skriptas dėl kažkokios priežasties nulūžtu arba jį tiesiog nu kill’inus, supervisord pasirūpina jo paleidimu.

Rezultatas

Per dvi valandas dirbtinio ryšio nebuvimo, duomenys sukrito per ~15 sekundžių.

Vienintelės mano renkamos metrikos yra temperatūra apie kuria rašiau Protingas namas. 1 Dalis. Temperatūra.. Tiesa nuo tada termometrų padaugėjo ir dabar jų aštuoni. Ir duomenys jau senokai saugomi ne mariadb/mysql, o influxDB. O duomenims peržiūrėti ir analizuoti naudoju Grafana.

Oficealaus influxdb paketo nėra, tad teks susikompiluoti iš AUR:

yaourt -S influxdb

Pirmuosius influxdb žinksnius galima rasti čia. Tikrai nėra nieko sudėtingo.

Mano duomenų bazė vadinasi termometrai, o lentelė temperaturos.

Duomenys atrodo taip (stulpelių yra daugiau, apkirpau, kad tilptu į puslapį):

> select * from temperaturos limit 20 
name: temperaturos
time                28-0000052D4E36 28-0000052DC554 28-0000052DCA4A
----                --------------- --------------- ---------------
1491421622470175617                                 20.6875
1491421622933431847 5.6875
1491421624775957066                 20.1875
1491421683164960608                                 20.6875
1491421683725053335 5.6875
1491421685386914026                 20.1875
1491421743393921182                                 20.6875
1491421743956469988 5.6875
1491421745634864667                 20.1875
1491421802759609752                                 20.6875
1491421803239163911 5.6875
1491421804969827574                 20.1875

Duomenys taip pabire, nes kiekvienas termometras įrašomas atskirai (skiriasi įrašymo laikas). Viso to išvengti galima surinkus visus duomenis ir įrašinėjant viską vienu metu, viena užklausa. Taip užklausa, nes duomenis įrašinėjami kreipiantis tam tikru portu CURL‘u, WGET‘u ar kita programine įranga darant GET užklausą. Galima tiesiog į naršyklės URL’ą suvesti atitinkama adresą.

Aš duomenis rašau su PHP paCURL‘inant URL‘ą. Kodas žemiau:

        //Post to influxDB
        $ch = curl_init("http://localhost:8086/write?db=termometrai");
        curl_setopt($ch, CURLOPT_POST, 1);
        curl_setopt($ch, CURLOPT_POSTFIELDS,"temperaturos ".$daviklioHWID."=".$tempvalue);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_exec($ch);
        curl_close($ch);

daviklioHWID yra termometro DS1820 adresas.
time (laiko) reikšmės paduoti nereikia.

Tame viskas ir paprasta, tiesiog aklai padavinėju termometro adresą ir jo reikšmę. Jei sistemoje atsiranda naujas termometras (naujas adresas) nieko daryt papildomai nereikia, stulpelis influxDB atsiranda automatiškai.

Dabar apie duomenų atvaizdavimą. Duomenis grafiškai atvaizduoti naudoju grafana.

sudo pacman -Sy grafana

Kai pradėjau naudoti Grafana tada dar ji nemokėjo skaityti iš mariadb/mysql. Dabar paskutinėse versijose ji tai gali daryti. Bet influxdb veikia akivaizdžiai greičiau, ypač kai db serveris paleistas ant Raspberry Pi model B.

Pirmą kartą prisijungus prie Grafana reikia prisidėti Data source t.y. duomenų šaltinį. Šiuo atveju tai indluxdb.

Turint duomenų šaltinį galima bandyti susikonfiguruoti Dash board t.y. langas kuriame bus grafikas/grafikai.

Maniškis atrodo taip (paspaudus pasididina):

Vienos metrikos (vienos linijos grafike) užklausa atrodo taip:

Visos keturios užklausos:

Atkreipiam dėmesį į GROUP BY. Grupuoju dėl dviejų priežasčių. Pirmoji, tai kaip minėjau aukščiau, duomenis įrašomi ne tuo pačiu momentu (skiriasi keliomis sekundėmis). Panaudojus grupavimą tiesiog skaičiuojamas, šiuo atveju trijų minučių vidurkis (tam ir naudojamas mean()) nesvarbu kiek matavimu per tas tris minutes buvo padaryta. Taip visi grafikai laiko atžvilgiu tampa lygus.

Antroji priežastis, kad termometrai nėra super tikslūs ir esant tomis pačiomis sąlygomis jie atiduota kažkiek kintamus (po kablelio) duomenis. Tad šiuo atveju grafikas kiek sulyginamas ir panaikinami 0.xxx nuokrypiai.

Iškarto sakau, nebuvo minties valdyti kambarių apšvietimo, tame prasmės aš nematau. Pažaisčiau pats, parodyčiau draugams tuom viskas ir pasibaigtu.

Tikslas buvo kiemo apšvietimo valdymas. Namo perimetre yra 10W “senukiniai” LED žibintai, parkavimosi vieta apšviesta 20W LED žibintu. Ir statybininkai visiems nameliams sustatė ~50cm aukščio žibintus su 5W LED lemputėmis. Taip pat statytojas pasirūpino, kad 5W žibintas automatiškai užsidegtu nusileidus saulei (ant stogo yra šviesos imtuvas). Visi kiti šviestuvai jau mano paties montuoti.

Visų žibintų maitinimas paimtas nuo minėto šviesos daviklio, o tai reiškia, kad ir labai norit, šviesiu paros metu žibintai nedega.

Viskas pajungta nuo Raspberry gpio pin’ų (jungčių). Naudotas rėlių blokas iš Kinijos. Buvo minčių bloką lituotis pačiam, bet perkant detales pvz Lemonoj, vien jos kainuoja daugiau nei gatavas produktas.

Programinė įranga ir kaip viską valdau. GPIO išvadus labai paprasta valdyti su WiringPi. Aš naudoju Archlinux, tad šį paketą instaliuoju:

sudo pacman -Sy wiringpi

Pasinaudodami gpio komanda pasižiūrime ką turime išvaduose:

[dinux@alarmpi ~]$ gpio readall
 +-----+-----+---------+------+---+-Model B1-+---+------+---------+-----+-----+
 | BCM | wPi |   Name  | Mode | V | Physical | V | Mode | Name    | wPi | BCM |
 +-----+-----+---------+------+---+----++----+---+------+---------+-----+-----+
 |     |     |    3.3v |      |   |  1 || 2  |   |      | 5v      |     |     |
 |   0 |   8 |   SDA.1 |   IN | 1 |  3 || 4  |   |      | 5V      |     |     |
 |   1 |   9 |   SCL.1 |   IN | 1 |  5 || 6  |   |      | 0v      |     |     |
 |   4 |   7 | GPIO. 7 |  OUT | 0 |  7 || 8  | 1 | ALT0 | TxD     | 15  | 14  |
 |     |     |      0v |      |   |  9 || 10 | 1 | ALT0 | RxD     | 16  | 15  |
 |  17 |   0 | GPIO. 0 |   IN | 0 | 11 || 12 | 1 | IN   | GPIO. 1 | 1   | 18  |
 |  21 |   2 | GPIO. 2 |   IN | 0 | 13 || 14 |   |      | 0v      |     |     |
 |  22 |   3 | GPIO. 3 |   IN | 0 | 15 || 16 | 0 | OUT  | GPIO. 4 | 4   | 23  |
 |     |     |    3.3v |      |   | 17 || 18 | 0 | IN   | GPIO. 5 | 5   | 24  |
 |  10 |  12 |    MOSI |  OUT | 1 | 19 || 20 |   |      | 0v      |     |     |
 |   9 |  13 |    MISO |  OUT | 1 | 21 || 22 | 0 | OUT  | GPIO. 6 | 6   | 25  |
 |  11 |  14 |    SCLK |  OUT | 0 | 23 || 24 | 1 | IN   | CE0     | 10  | 8   |
 |     |     |      0v |      |   | 25 || 26 | 1 | IN   | CE1     | 11  | 7   |
 +-----+-----+---------+------+---+----++----+---+------+---------+-----+-----+
 | BCM | wPi |   Name  | Mode | V | Physical | V | Mode | Name    | wPi | BCM |
 +-----+-----+---------+------+---+-Model B1-+---+------+---------+-----+-----+

Rėlių valdymui panaudojau pin’us pagal BCM 10, 9, 11, pagal wPi 12, 13, 14
Pagal nutylėjimą šie pin’ai (jei neklystu) buvo IN todėl jų rėžimą keičiu

gpio mode 12 out
gpio mode 13 out
gpio mode 14 out

Po šių komandų mano minėti pin’ai jau dirba kaip išėjimas (taip kaip parodyta aukščiau esančioje lentelėje)

Norint įjungti/išjungti rėlę pajungta prie wPi 12 kontakto, naudojame:

gpio write 12 1
# arba
gpio write 12 0

Jungimo schema taip pat labai paprasta. +5V ir GND paimiau nuo laisvų GPIO išvadu, valdymo signalas jau ankščiau minėti pin’ai. Įtampai ir signalams perduoti naudojau UTP kabelį (atstumas ~1 metras) prie jo galų litavau Dupont cable jumeper

Vis dėlto, vienoje vietoje buvau strigęs. Atrodo viskas sujungta gerai, signalas ateina (indikacinis LED užsidega), bet rėlė nesuveikia. Pasirodo problema buvo vienas blogas kabeliukas ir būtent GND. Pakeitus jį jau netik indikacinis LED užsižiebdavo, bet ir rėlė suveikdavo.

Na ir žemiau video. Tiesa prastokos kokybės, bet esmė yra parodoma.

Kaip jau rašiau, buvo bėdų su maitinimu, kurias galvojau, kad išsprendžiau, bet pasirodo — ne. Problema pasirodo išliko, tik ne tokia dažnai pasireiškianti. Avietė kartą per savaite/dvi pamesdavo HDD, užtekdavo perkrauti ir vėl viskas dirbdavo tvarkingai iki kito karto. Taip kentėjau beveik pusmetį, kol neperskaičiau, kad Western Digital išleido specialų diską avietei, kuris vadinasi PiDrive. Nuorodą į produktą: http://wdlabs.wd.com/products/wd-pidrive-314gb/.

Šis diskas specifinis tuo, kad jis savyje neturi nei SATA nei IDE jungties. Ant jo valdymo plokštės yra USB3.0 jungtis. Lygiai tokie pat diskai montuojami į WD Passport išorinius, nešiojamus diskus. Skirtumas tas, kad šis diskas truputi modifikuotas. Jo startui reikalinga mažesnė srovė (diskas įsisuka lėčiau), tai pat sulėtintas jo valdiklio taktinis dažnis (naudojama mažiau energijos) na ir žinoma keista talpa už kiek didesnę kainą.

Diskas iš Nyderlandu (Olandija) iki durų Kaune atkeliavo DHL pagalba per maždaug savaitę, bėda tik tame, kad pačio išsiuntimo teko laukti tris savaites (gavau atsiprašymo laišką dėl vietinės WD logistikos apkrovimo).

Atkeliavus diskui, kopijuoju viską į naują. Kompiuteris startuoja, viskas veikia, viskas puiku.

Praėjus, berods keletai dienų, pasigirsta iš disko keisti garsai. Įrašas čia: https://www.youtube.com/watch?v=IGtzaIlMgWA Keičiau ir kabelius ir maitinimo blokus, jungiau per usb switch’ą su išoriniu maitinimu.. niekas nepadėjo. Taip avietė praleido gerą mėnesį išjungta, nelabai buvo laiko aiškintis kas čia daros ir internetas šiuo klausimu nieko nepadėjo.

Pradėjus vėl domėtis šiuo klausimu WD supporto forume atsirado tema, pasirodo ne pas mane viena tokie garsai sklinda. Pradėjus gilintis į bėda, kolega IRC (o taip aš jį vis dar naudoju) pasiūlė pasidomėti hdparm rakto S ir B parametrais.

Finalinis rezultatas:

sudo hdparm -B 255 /dev/sda1

Ši komanda išjungia disko Advanced Power Managment, diskas dabar sukasi tyliai, jokie pypsėjimai ar kiti pašaliniai garsai nesklinda.

Vėl paišosi temperatūros grafikas:

Žiūrint į grafika matosi, kad oro temperatūra lauke buvo pakilus iki 40,4C. Kad ir kokia karšta diena buvo, bet tai nėra realu. Pats daviklis yra ant stogo šešėlyje, įdėtas į baltą dėžutę nuo foto juostelės, bet panašu tas negelbėja. Sekantis žingsnis konstruoti taip vadinama Stevenson Screen.