=== _chaky_ is now known as chaky [06:24] jebte drzavne institucije da te jeb...e [06:24] ides niz dlaku, uz dlaku, nikako ne valja [06:24] najbolje da im das novce i nestanes [07:07] mlje [07:08] jutro [07:18] dolar ide gore [07:19] vileni: djesi [07:24] Mmike: evo, posao opet [07:24] Mmike: ti na moru? [07:26] vileni: radno s mora, jest [07:26] nesh mi ne stima s okom desnom [07:26] neznam dal 'alergira ili neki drek treci [07:26] kako se manifestira? [07:26] ja sam imao par dana problem da mi je ujutro bilo kompletno slijepljeno oko, i cijele dane kao da suzi lagano [07:27] prestalo nakon 3-4 dana [07:47] vileni: ovo tvoje je neka upala ili infekcija. Dobro da se riješilo samo od sebe [07:47] Jutar svima btw [07:49] vileni: a cijela glava mi je nekak u banani, imam u ustima neki kufer, pa k'o da me i nos jebe, i onda i oko [07:50] nemam pojma [07:50] ak se ne smiri do sutra, ili ako se drasticno pogorsa, moram dotturu [07:50] imam usb3 sticka 2-3 [07:50] mogu citati s njih oko 200 MB/sec [07:50] a pisati oko 300k/sec [07:56] jutar [07:56] majk kaj ti je? [07:57] spor usb [08:00] Mmike: to te tjera da stedis writeove na usb :) [08:08] Mmike: ma ne to nego ovo u ustima/nosu [08:10] nixhr: da, nemam pojma dal' me nesh upiklo, dal' alergija, ili mi raste treci nos [08:15] izgleda da je propuh samo [08:16] Mozda sam blesav: kad definiram ACL za exim, dost' mi je to turit u .template file i okinut0' dpkg-reconfigure exim4-config ? [08:20] propuh da [08:20] http://www.tportal.hr/scitech/znanost/269062/Je-li-opasnost-od-propuha-samo-balkanski-mit.html [08:24] pa, onaj kojeg propuh nikad nije sjebao nemre znat koji je to bed :) [08:26] recimo, propuh u autu, kad si znojan, ti napravi da ti se ukoci vrat zato sto ti se misici stiscu od pada temperature tamo di ti puse - i ak ti to dugo traje, pokocis se [08:27] meni se to cesto dogadja [08:27] doduse, onaj deep heat ili tak nesh najcesce jako brzo pomogne [08:27] jos kad sam vlakom putovao, uvijek sam bio ledjima okrenut i pokraj prozora, tako da kad je otvoren da puse oko mene :) [09:07] kako da istjeram mysql iz swapa a da ne gasim isti? [09:23] vileni: zakaj brijes da ti je mysql u swapu? [09:29] Mmike: zato sto je jedino sto se vrti na serveru [09:31] onda ti gotovo sigurno to nije u swapu [09:31] tj, to kaj je u swapu, nije bitno, pa moze ostat tmao [09:31] tamo [09:31] koliko memorije imas te koliko ti mysql otme? [09:42] 4gb, virt je 4.5gb za mysql, res 2.7gb [09:45] pejstas /proc/meminfo nekud? [09:47] isto tak, kad vmstat pogtjeras, jel ti se pokazuje swapin/swapout? [09:48] nema trenutacno swapanja [09:49] onda nemas bedova [09:49] jedino mysqlu mosh malo smanjit memory usage [09:50] mysqltuner ti moze tu malo pomoci [09:50] ili ako ti je bed da ti toliko swapa mozes eventualno vm.swappines na 1 stavit [09:50] ali trebao bi vidjet zasto swapa prvo [09:51] to me i muci sad, swappines je na 1 neko vrijeme vec [09:51] i danas mi je javio da trosi vise od 50% swapa [09:52] a jos je pasivni master u pitanju [09:52] na aktivnom nema problema [09:55] pogledaj onda config jer onda najvjerojatnije ne odgovara stvarnom opterecenju [09:56] koja je verzija mysql-a gore? [09:57] jer ako ne koristite multi-threaded replikaciju (a i onda) pasivni master je blizi slave-u po prometu === hrvojem_ is now known as hrvojem [10:08] vileni: a /proc/meminfo ? [10:08] vileni: imas neke grafice tamo mozda ? (munin) [10:10] normalno je da swapa, i to je ok - pornjava je imala 64GB masine, sa 700MB swapa. MySQL bi uzimao 20GB, jos 20GB bi bilo u filesystem cacheu, i jos je bilo oko 20 GB free memorije (ono, nezauzete nicime) [10:10] i svejedno je swap bio 300-400 MB 'pun' [10:10] i to je ok [10:10] i ne treba smetati [10:10] s/smetati/zabrinjavati [10:10] ak ti je swapin/out velik, onda imas problem [10:30] swap je 1gb, a kako je zauzeto preko pola onda mi se zabbix javlja [10:30] ali iz nekog razloga ne prikazuje graf za swap [10:31] popravi zabbix [10:31] al'i dalje nisi utvrdio dal' je mysql u swapu ili ne [10:31] i ako je, dal' je to bed ili ne [10:32] vileni: zabbix zna imat blesave defaulne parametre/tresholde za dizanje alarma... [10:32] * Mmike se sjeca kak je u pornjavi bio memcached [10:32] pa su onda napisali nagios plugin za njega, isti bi citao konfiguraciju i vidio s koliko je memorije konfiguriran [10:32] a, nasao pravi swap graf [10:32] i onda bi alertao ak memcached uzme preko 70% te memorije [10:32] meni ide na zivce sto recimo po defaultu ne gleda stvarno zauzece memorije nego gleda zauzece s cacheom/bufferima... iako ti je realno malo zauzeto rama, on dize faking alarm [10:32] i onda bi sistemci tulavci restartali memcached jer NAGIOS JE CRVEN [10:40] vileni: pejstaj /proc/meminfo nekud [10:40] ukratko, ako imas 50% memorije u cacheu ili je free, nothing to worry about [10:40] ali ako ti mysqld uzme vecinu memorije, i nemas skoro nista u cacheu, onda imas problem [10:52] rijeseno sad [10:52] dakle, bio je mysql [10:52] u swapu [10:53] koliko vidim po grafovima od trenutka kad je innobackupex krenuo jutros u 10 [10:53] drugi problem je sto je na haproxy bio taj node kao backup, ali bio je active master [11:32] vileni: al, to nist ne znaci [11:32] kaj je bio u swapu [11:32] to je skroz ok i validno [11:32] nisi pejstao /proc/meminfo nikad :) [11:33] Sram ga je nakon "u pornjavatorima smo imali kante s 9ziliona petabajta rame" :) [11:34] da, kad imam 4gb rama i 1gb swapa [11:35] to nema nikakve veze [11:35] ali nije toliko bitno sad, pitanj je bilo zasto je on dosao do swapa (i znam da smije biti tamo) s obzirom da je trebao biti pasivni node prema haproxiju [11:35] pitanje je kak si utvrdio da je dosao do swapa [11:35] pa prvo, swap je narastao [11:35] ak imas swappiness na 60 ko sto debian ima po difoltu, bilo sto da je idle moze zavrsiti na swapu [11:35] drugo for file in /proc/*/status ; do awk '/VmSwap|Name/{printf $2 " " $3}END{ print ""}' $file; done | sort -k 2 -n -r | less [11:36] trece, isto se dogodilo u 10 ujutro kad je innobackupex radio [11:36] ma i ak imas swappines 1 [11:36] vileni: znaci, innobackup je uzeo memorije i gurnuo mysql u swap? [11:36] swappines je na 1 [11:36] Mmike: najvjerojatnije [11:36] swappines = 1 samo znaci da ce kernel manje agresivno tjerati sttvari u swap [11:36] al' ne znaci da nece [11:36] prvi node nema problema sa swapom u isto vrijeme, a razlika na drugom je jedino sto vrti backup [11:36] bez obzira sto imas trilijarde gigabajta prazne [11:37] vileni: pogresno je pretpostavljati da ce ti nodeovi imati isti memory consumption [11:37] pa ne mora imati isti [11:37] ali da se slicno ponasaju [11:38] pa, da [11:38] ne ponasaju se [11:38] i kao sto rekoh, nije swap problem kao takav, problem je zasto ima nesto u swapu kad drugi nema [11:38] i to je ok [11:38] pa zato kaj innobackupex [11:38] iako [11:38] ne mora biti slucaj [11:38] nije da su performanse bile ugrozene jer nije koristio swap [11:38] mosh imat 3 slavea koji se opce ne koriste [11:38] i mogu ti imat razlicite memory patternet [11:38] patterne [11:38] to je sve ok [11:39] nego je stvar da se na jednom nesto dogodi, a na drugom ne, treba saznati sto [11:39] velim ti - nemres to sam tak saznat [11:39] moguce ti je da ti na jednom slaveu 500 megi swapa bude iskoristeno [11:39] na drugom ne [11:39] i to je sve ok [11:39] jer kernel drugacije zabrije [11:40] iako je workload - isti [11:40] ak imas pattern da ti se svako jutro swap poveca, nakon kaj ga ubijes, a i u isto vrijeme innobackup krece [11:40] onda imas jaku indikaciju zakaj je to tako [11:40] pa dobro, ali u ovom slucaju sam sumnjao na mysql, i na backup, potvrdio da je mysql zauzeo komad swapa koji ne voli releasati u normalno vrijeme, te utvrdio da je innobackupex radio u tom trenutku [11:44] proc ti nikad nece swap releasati [11:44] cak i kad pagein napravis [11:44] osim ak mu ne ostane mjesta [11:44] ili ako ga, naravno, ne ugasis [11:45] jedini je nacin da ugasis swap [11:45] al' tamo mysql nebi smio trositi vise od gigu i pol rama, ako tjeras innobackupex [11:45] a ak je samo slave, i nemas klijenata gore, nebi smio nit posebno uzet [11:46] dakako, ovisi kaj ti se replicira, ako imas statement replikaciju i poziv nekih cudnih storanih procedura koje rade temp tablice ili kajjaznam kaj... [11:46] nije samo slave [11:47] to je drugi dio problema, taj node je bio aktivan iako je na haproxy kao backup [11:47] Kakav krasan cuspajz :) [11:50] ma ovo je sve pod kontrolom [11:51] nedavno smo imali slucaj da klijentu nije mysql radio ~20 dana [11:51] a da nije primjetio [11:51] i onda kako je njihov it beskoristan [11:51] onda zovu nas da vidimo sto ne valja sa mysql [11:58] "TURN IT ON" :) [11:59] vileni: pricam ti generalnu pricu za 3 slavea koji se ne koriste a imaju razlicit memory footprint [11:59] e, a kak je bio aktivan ak je na haproxy kao backup?: [11:59] Mmike: mislim da ako na novijim kernelima stavis swapiness na 0, puno je veca sansa da ce ga OOM dohvatit [12:00] hrvojem: swappines 0 nebi trebao nikad stavljati [12:00] 1 je minimum koji stavljas [12:00] da [12:00] zato kazem da mozda nije pametno da ga skroz ugasi [12:00] 0 je nedefiniran i tko zna dal' ce se promjeniti u buducnosti [12:00] pa ne gasi ga [12:01] zakaj bi ga gasio? [12:01] pa jel nisi ti gore rekao da ga moze gasit [12:01] swappines 0 i swappines 1 je ista stvar, u trenutnoj implementaciji [12:01] ne :) [12:01] di? [12:01] to bi BotaniCar mozda bio, on jako mrzi swap :) [12:01] rekao sam da je to jedini nacin da makne nesto iz swapa = ugasit swap, upalig ga nazad [12:01] Ja mrzim debele zene u tajicama, swap je u redu, samo ga ne koristim. [12:02] aha to [12:02] Mmike: da, nisam morao gasiti i paliti swap, samo sam zaustavio i pokrenuo mysql [12:02] https://www.percona.com/blog/2014/04/28/oom-relation-vm-swappiness0-new-kernel/ [12:02] vileni: sto je, opet, potpuno krivo - jer si sad ubio inno buffer cache [12:02] jesi siguran da su 0 i 1 isti [12:02] hrvojem: yup, pokazivao mi kolega source [12:03] morat cu pogledat ponovo kad uhvatim vremena [12:03] Mmike: zasto je to lose? [12:03] vileni: zato kaj si ostao bez toga i mysql to mora s diska opet citat da napuni [12:03] database serveri se NE restartaju [12:04] osim kad moras (jer, recimo, osh promijenit config opciju koja je u runtimeu read-only) [12:04] Mmike: ok, to ima smisla, ali kao sto rekoh, nije pornjavatorski pa je load razuman, a ionako smo u procesu vratili konekcije na node koji je trebao biti aktivan [12:05] tako da je minimalna razlika [12:05] i baze su razumne velicine [12:06] bolje bi ti bilo swapoffswaponn [12:06] iako, na tak malo memorije vajda nema nit veze [12:06] ali za swapoff moram imati dovoljno mjesta u ramu? [12:08] Ne nuzno, mozes i servis skrsit kad vidi da se nema gdje pretocit' :) Mozda je mmike htio reci da bi to brze "restartalo" mysql :) [12:09] hehe [12:10] Nego, jel ti upaljen SElinux na tim mysql kantama ? :) [12:10] pa ne [12:10] mislim, gasit/palit mysql ti je ista stvar [12:10] ak nemas mjesta, onda znaci da ce ti restart mysqla opet pojest swap [12:11] BotaniCar: otkud si zakljucio da bi kao rhce radio na redhatoidima? :) [12:11] Mmike: ali nije pojeo [12:12] vileni: vrtis i prepare/apply-log na tom server na kojem ti radi i backup? [12:12] vileni: ma ne zakljucujem ja nista, nego se nisam mogao sjetiti kak se AppArmor zove, pa sam upotrijebio termin koji znam :) [12:12] mysql zauzima vecinu rama, ali nije bilo problema dok ga nije innobackupex valjda izgurao u swap [12:12] hrvojem: samo da pogledam skriptu, neznam napamet [12:13] Ahahahaha: https://medium.com/@shitHRCcantsay/let-me-remind-you-fuckers-who-i-am-e6e8b297fe47#.3sho944az [12:15] hrvojem: nope, nista takvo u skripti [12:15] vileni: znaci da si imao dosta memorije i mogao si samo swapoff napraviti [12:15] znaci samo backup radite, a onda je prepare na nekom drugom stroju? [12:16] mslis, prepare rade a apply[log je na drugom stroju [12:16] Mmike: kako zakljucujes da sam imao dosta? [12:16] vileni: pa rekao si sad da nije pojeo swap [12:16] uzeo je 500mb swapa [12:16] Mmike: prepare == apply-log [12:16] prije restarta [12:16] vileni: tesko mi je ovaj pricat :) [12:16] jel' zauzeo swap ili nije? [12:16] hrvojem: a, kuzim, krivo citao gore [12:17] znaci prije restarta, zauzeto 3.7gb od 3.9gb rama, i 500mb od 1gb swapa [12:17] vileni: nakon restarta, jel' zauzeo swap? [12:17] nakon restarta, nije dirao swap [12:17] znaci da si imao dovoljno memorije [12:17] hm, nisi [12:17] ck, mysql ti uzme 3.7 gigi? [12:17] zakaj /proc/meminfo nisi pejstao? [12:17] tam sve pise [12:17] i sad nebi filozofirali [12:17] jer i dalje nemas pojma koliko ti memorije mysql trosi [12:17] Mmike: nisam rekao mysql, nego opcenito zauzeto [12:18] mysql ima innodb_buffer_pool 3gb [12:18] aj ti ipak pejstaj meminfo :) [12:18] Sad je vec i meni malo tesko pratiti, a navikao sam razgovarati s Klijentima :) [12:19] mene sad zanima da li ja mogu ugasiti swap, ako proces koji mi je bitan zauzima 500mb u njemu, a imam 200mb free rama [12:19] ne, naravno :) [12:19] pa eto [12:19] vileni: kak ne bi mogao, imas i umjerene sanse da proces prezivi [12:19] ;) [12:19] al' nisi rjesio problem [12:19] jer ti mysql uzme previse memorije [12:19] Mmike: ali ti kazes da sam mogao swapoff [12:19] a nisam [12:19] da, jer si rekao da ti mysql stao u memoriju nakon restarta [12:20] pa to je bilo nakon [12:20] al' nisam uzeo u obzir da mu je buffer pool prazan [12:20] i da ce ti se opet ovo desiti [12:20] pa vrlo vjerojatno da hoce [12:20] 3GB ti je previse, smanji to na 1GB [12:20] zasto mislis da je previse [12:22] zato kaj ti stroj swapa? :) [12:22] :) [12:22] zvonimirova->kvatric->rudjer biciklom bez stajanja :D [12:22] 3GB ce ti zauzeti buffer pool, 1GB ti je taman jedva dosta za ok [12:22] mislio sam da nema sanse [12:22] al proslo je relativno dobro :D [12:22] nixhr: na onom bajku s malenim kotacima ili imas i nekaj vece ?! [12:22] nixhr: kaj si kupio elektricni bajk? :) [12:23] Mmike: tako nesto sam i ja zakljucio danas, ali moram to sa ostatkom raspraviti :) [12:23] mysqltuner potjeraj i vidi kaj ovaj brije [12:31] BotaniCar: da na tom [12:31] Mmike: nemam ;) [12:31] Svaka cast :) [12:33] \o/ [13:02] Muahahaha: "Invalid user xerox from 94.249.254.120" , kaj si printeri svog usera nekad znaju turit' ? [13:05] mozda misli da si printer [13:05] na faksu su nas jednom blacklistali jer je printer slao spam [13:08] kod mene u skoli su printeri radili ntp ddos amplification [13:09] onda je bilo "koji kufer jos drzite printere i desktope na javnom segmentu" [13:10] da, to je prvi dio problema [13:10] ntp ddos sam imao samo sa jednog esxi ako se dobro sjecam [13:10] sto je cudno, s obzirom na broj uredjaja na javnim ip [13:10] jel ima koja banka u nas da daje kartice samo za chipom, bez magnetne trake? [13:12] jelly: dvojim, kartice imaju set uvijeta koje moraju zadovoljiti, a da budu POS-ready ( sto je dio tih uvjeta )moraju i traku imati. [13:18] magstrip je grozno nesigurna. U Finskoj navodno uredno mozes dobit karticu bez stripa, i/ili bankomati imaju posebno slot za chip, koji samo uvuce na pola da procita chip [13:18] * jelly ne tipkala dobro [13:20] jelly: ma kod nas je nadrkavanje, valjda nikom nije interesantno povuci iz upotrebe opremu koja cita trake,a radi, pa .. [13:21] Ili su jeftino kupili opremu koje se Finska rjesavala pa sad .. [13:21] valjda [13:21] a kad pocnu stavljati skimmere kod nas, onda ce se cudit [13:21] ako vec nisu [13:21] Bas, neobicno smo azurni u pracenju kriminalnih trendova :) [13:22] neka na izlazu u zacretju stave skimmer, mozda im proradi placanje karticom onda [13:23] Ajmo samo reci da su im neki seniori dali otkaz, placanje/ENC ce prosljakati kad se juniori ufuraju :) [13:23] ma jok azurni, citam clanak kod Krebs-a iz 2014 [13:24] :) Ali ti nisi krimos, da jesi, vec bi usvojena znanja aplicirao :) [13:24] buraz vozi Prius+ 2013, za 16k ojra (13k stariji prius trejd in, i 3k kesh) [13:25] veliko djubre [13:25] Nama je to sluzbeno vozilo. Ogroman je [13:26] i dalje vrijedi da je vrlo lako pogaziti babu na domacim parkiralistima, ocekuje da ce cuti ak auto dolazi od iza a hibrid se samo dokotrlja [13:26] Da. Ali su joj bolje sanse nego da vozis Teslu, mozda joj pridjes bas dok benzinac pripunjava bateriju :) [13:27] kad stavis 5 sjedala a ne 7, mozes iza staviti 8 servera [13:27] doduse ne znam sto ce njemu, nema zenu ni djecu (bar ne legitimnu) [13:28] Vjerojatno vozi za Uber :) [13:28] manijak se svako ljeto doveze ovamo iz amsterdama [13:28] Ili ekipu na/sa svatova :) [13:28] uber bi tu u istri jako dobro dosao, jer su cijene tahija katastrofa [13:29] uff, frend se nedavno preselio u 'dam, vozio si je auto gore, veli da nije bas neko veselje od iskustva :) [13:29] 15-17 sati tlake [13:29] Jao, fakat, uber vozaci dolje ne bi prezivjeli 30 sekund, pobacali bi ih taksisti u more :) [13:29] mislim ok, prosli put je starcima dofurao "malu" telku od samo 37" [13:30] i .nl sireve i vege djidji midji za mene :-) [13:30] Velis, starcima racun za struju duplo veci od kad imaju novi TV ;) [13:30] nb: 37" tv tocno stane u standardni regal od prije 40 godina :-> [13:30] :) [13:30] ima <1cm sa svake strane [13:31] Vis ti kak su nasi stari sve etalonski radili :) [13:32] POS stoji za piece of sh*t jeli? :-) [13:32] Kaj drugo,ne ? :) [13:32] bas me zanima dal su banke sad uvele SEPA transakcije kak spada [13:33] mogao bi placati VPS u njemackoj SEPA trajnim nalogom [13:33] Kaj to znaci kak spada ? Ja sam primao SEPA uplate na privatni RBA tekuci jos dok sam mintao kriptonovce [13:33] Nisam nikomnista placao,doduse [13:33] jesu li uzimali nista naknade? [13:34] i dal se vidjela uplata odmah? [13:34] E! Imas pravo, bilo je pizdarija, sad sam se sjetio, uplatitelj n [13:34] to bi sad trebalo biti puno bolje [13:34] nije iuzimao nista, ali je RBA uzela neku mizeriju za svoje fiktivne troskove [13:35] Ono kaj je meni bilo bitno je da je tamizerija zaista bila mizerna, i da je proslo brzo i bez administrativnog opterecenja. [13:36] jelly: hoces reci da je dao 3 godine star auto i samo 3keur za novi? [13:46] vileni, ne, cca, dao je 7 godina star auto i 3k, za 2g star auto [13:47] haha, sad je nasao taj stari prius na oglasu, njemu su dali 13k, sad ga prodaju za 15k ;-) [17:43] https://it.slashdot.org/story/16/07/27/1342205/lastpass-accounts-can-be-completely-compromised-when-users-visit-sites [17:43] BotaniCar: ^^ [17:44] pa ti koristi lastpass [19:28] 15:30 < jelly> nb: 37" tv tocno stane u standardni regal od prije 40 godina :-> [19:28] meni je stao 39", onak, skoro na milimetar :) [19:31] btw. last pass i te djidje... meni onak, drzanje passworda u oblaku zvuci kao cuvanje sisatih djevica u mom stanu :) [19:35] sounds awesome to me!