{"id":867,"date":"2018-01-20T22:43:46","date_gmt":"2018-01-20T19:43:46","guid":{"rendered":"http:\/\/www.dinux.lt\/blog\/?p=867"},"modified":"2018-01-20T22:50:43","modified_gmt":"2018-01-20T19:50:43","slug":"duomenu-rasymas-i-nutolusi-influxdb-naudojant-redis","status":"publish","type":"post","link":"http:\/\/www.dinux.lt\/blog\/?p=867","title":{"rendered":"Duomen\u0173 ra\u0161ymas \u012f nutolus\u012f influxdb naudojant Redis"},"content":{"rendered":"

Pradin\u0117 schema.
\nRaspberry pi surenka termometr\u0173 duomenis ir PHP bei CURL’o pagalba (ra\u0161iau \u010dia<\/a>) keliauja \u012f dvi influxdb bazes. Viena yra lokaliai pa\u010dioje aviet\u0117je, kita yra nutolusiam VPS serveryje.<\/p>\n

\"\"<\/a><\/p>\n

Problema pa\u017eym\u0117ta raudona rodykle. Kartais dingsta namuose interneto ry\u0161ys (vis dar 5GHz antena, 100mbs planas, laukiu kada suvirins \u0161viesolaid\u012f). To pasekoje i\u0161siskiria duomenys tarp abiej\u0173 influxdb.<\/p>\n

Senesn\u0117s influxdb versijos tur\u0117jo clustering funkcionalum\u0105, bet \u0161itas malonumas dabar mokamas.<\/p>\n

Taip pat yra tokie sprendimai kaip influx-relay<\/a>, bet This retry logic is NOT sufficient for for long periods of downtime as all data is buffered in RAM.<\/em><\/p>\n

Problemos sprendimo schema:
\n\"\"<\/a><\/p>\n

Duomenys ra\u0161omi lygiagre\u010diai \u012f lokal\u0173 influxdb ir redis<\/a>.<\/p>\n

\u012e redis’\u0105 patogiai ra\u0161yti galima su phpredis<\/a>. Archlinux’e pkgbuild’as yra AUR’e, nutolusiam VPS’e yra Centos 7 tad ten teko susikompiliuoti i\u0161 source. Abiem atvejais reikia paredaguoti php.ini ir prid\u0117ti extension=redis.so<\/em>.<\/p>\n

Tad palyginimui kodas tarp CURL’inimo \u012f influxdb ir redis:<\/p>\n

\r\n\/\/Post to influxDB\r\n$ch = curl_init("http:\/\/127.0.0.1:8086\/write?db=termometrai");\r\ncurl_setopt($ch, CURLOPT_POST, 1);\r\ncurl_setopt($ch, CURLOPT_POSTFIELDS,"temperaturos ".$daviklioHWID."=".$tempvalue);\r\ncurl_setopt($ch, CURLOPT_RETURNTRANSFER, true);\r\ncurl_exec($ch);\r\ncurl_close($ch);\r\n<\/pre>\n
\r\n\/\/Post to redis\r\ndate_default_timezone_set("UTC"); \r\n$redis = new Redis();\r\n$redis->connect('127.0.0.1', 6379);\r\n$redis->rPush('VPS1',"temperaturos ".$daviklioHWID."=".$tempvalue." ".strval(time()));\r\n$redis->close;\r\n<\/pre>\n
\u012e redis ra\u0161au POST duomenis, tam kad kitam gale aklai gal\u0117\u010diau juos v\u0117l paki\u0161ti CURL’ui. Vienas skirtumas, kad pridedu \u0161io momento timestamp’\u0105. Jis reikalingas tam, kad duomenys i\u0161 redis’o iki nutolusio serverio, ry\u0161io dingimo metu, gali keliauti ir kelias valandas. Atsiradus ry\u0161iui ir sura\u0161ius duomenis be timestamp’o \u012f influxdb duomenys sukristu ne su laiku kada jie buvo \u012fra\u0161yti \u012f redis, o su laiku kada buvo \u012fra\u0161yti \u012f influxdb. Tad \u0161iuo atveju duomenis atkeliauja jau atsine\u0161dami ir laik\u0105 kada buvo nuskaityti.<\/p>\n
Nutolusiam VPS serveryje duomenis i\u0161 redis’o skaito PHP skirptas. Redis duomenis skaitau su:<\/p>\n
$redis->lPop('VPS1');<\/pre>\n
\u0160i funkcija paima vien\u0105 \u012fra\u0161\u0105 i\u0161 nurodytos “eil\u0117s” (kuri \u0161iuo atveju yra VPS1) ir i\u0161karto ta \u012fra\u0161\u0105 i\u0161trina. Sekan\u010diu kartu paimama kita reik\u0161m\u0117 ir pa\u0161alinama. Tokiu b\u016bd\u0173 gaunamas duomen\u0173 FIFO.<\/p>\n
Rezultate turime labai greitai ir labai ma\u017eai resursu naudojan\u010dia redis. Aviet\u0117 pildo duomenis naudodama RPUSH<\/a>, nutol\u0119s serveris duomenis tuo pa\u010diu metu skaito ir trina su LPOP<\/a>.<\/p>\n
Dingus ry\u0161iui, (nutol\u0119s serveris nemato Rasbery Pi) consumer’is kas 10 sekund\u017ei\u0173 kartoja prisijungimo proced\u016br\u0105 tol kol prisijungia. Po viena ima visus duomenis tol kol i\u0161tu\u0161t\u0117ja eil\u0117. Kai eil\u0117 i\u0161tu\u0161t\u0117ja “u\u017emiega” de\u0161im\u010diai sekund\u017ei\u0173 po kuri\u0173 v\u0117l pasitikrina ar yra duomen\u0173. Jei n\u0117ra, toliau “miega” 10 sekund\u017ei\u0173, jei yra “sukramto” tai kas yra.<\/p>\n
Consumer’io (php skripto) veikim\u0105 u\u017etikrina Supervisord<\/a>. Tai labai nedidelis servisas kuris gali u\u017etikrinti bet kokio skriptuko ar programos nenutr\u016bkstama veikim\u0105. Jei skriptas d\u0117l ka\u017ekokios prie\u017easties nul\u016b\u017etu arba j\u012f tiesiog nu kill’inus, supervisord pasir\u016bpina jo paleidimu.<\/p>\n
Rezultatas<\/strong><\/p>\n
Per dvi valandas dirbtinio ry\u0161io nebuvimo, duomenys sukrito per ~15 sekund\u017ei\u0173.<\/p>\n","protected":false},"excerpt":{"rendered":"
Pradin\u0117 schema. Raspberry pi surenka termometr\u0173 duomenis ir PHP bei CURL’o pagalba (ra\u0161iau \u010dia) keliauja \u012f dvi influxdb bazes. Viena yra lokaliai pa\u010dioje aviet\u0117je, kita yra nutolusiam VPS serveryje. Problema pa\u017eym\u0117ta raudona rodykle. Kartais dingsta namuose interneto ry\u0161ys (vis dar 5GHz antena, 100mbs planas, laukiu kada suvirins \u0161viesolaid\u012f). To pasekoje i\u0161siskiria duomenys tarp abiej\u0173 influxdb. … Read more<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_mi_skip_tracking":false},"categories":[3,12],"tags":[],"_links":{"self":[{"href":"http:\/\/www.dinux.lt\/blog\/index.php?rest_route=\/wp\/v2\/posts\/867"}],"collection":[{"href":"http:\/\/www.dinux.lt\/blog\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"http:\/\/www.dinux.lt\/blog\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"http:\/\/www.dinux.lt\/blog\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"http:\/\/www.dinux.lt\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=867"}],"version-history":[{"count":18,"href":"http:\/\/www.dinux.lt\/blog\/index.php?rest_route=\/wp\/v2\/posts\/867\/revisions"}],"predecessor-version":[{"id":889,"href":"http:\/\/www.dinux.lt\/blog\/index.php?rest_route=\/wp\/v2\/posts\/867\/revisions\/889"}],"wp:attachment":[{"href":"http:\/\/www.dinux.lt\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=867"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"http:\/\/www.dinux.lt\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=867"},{"taxonomy":"post_tag","embeddable":true,"href":"http:\/\/www.dinux.lt\/blog\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=867"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}