Tomáš Kubica

Distribuovaný tracing s OpenTelemetry, Python a Azure Monitor (2): další instrumentace, vizualizace a pokročilé query

Minule jsme se dostali z aplikace bez jakékoli instrumentace až provozu v Kubernetes a sbírání dat obohacených o aplikační i infrastrukturní atributy v Azure Monitor Application Insights. Dnes budeme pokračovat a přidáme si trasování přístupu do databáze, uděláme si vlastní span, zkusíme auto-instrumentaci a naučíme se pracovat se surovými daty...

2. 9. 2020

Téma: Monitoring Apps OpenTelmetry

Distribuovaný tracing s OpenTelemetry, Python a Azure Monitor (1): z ničeho až po monitoring mikroslužeb v Kubernetes

Dnes si zcela prakticky vyzkoušíme přidat instrumentaci do Python aplikace a napojit Azure Monitor backend pro zpracování trasování. Budeme si přidávat vlastní atributy a nakonec rozjedeme mikroslužby v Kubernetes, kde si přes Downwards API obohatíme naše trasování o provozní informace z clusteru jako je jméno Podu, Nodu, limitu na CPU...

17. 8. 2020

Téma: Monitoring Apps OpenTelmetry

Začínáme s OpenTelemetry pro standardizovaný aplikační monitoring

Minule jsem se věnoval ucelenému pohledu na aplikační monitoring a dnes bych rád začal s OpenTelemetry - standardizovaným open source řešením jak z hlediska specifikace API, tak samotné implementace v podobě SDK. Na backendu můžete mít Azure Monitor, New Relic, Datadog, Dynatrace, X-Ray, Jaeger a spoustu dalších řešení. OpenTelemetry je...

11. 8. 2020

Téma: Monitoring Apps OpenTelmetry

Kubernetes prakticky: přímé a bezpečné ovládání z Azure portálu v reálném čase

Azure Monitor obsahuje podle mého názoru fantastické Insights, tedy Azure Monitor for Containers, které podporují jak Azure Kubernetes Service, tak clustery mimo Azure napojené přes Azure Arc for Kubernetes. Pro analytiku, reporting a dlouhodobý monitoring jsou myslím výborná volba a takhle dobrých nástrojů s kombinací pokročilého analytického jazyka, jednoduchého sbírání...

6. 8. 2020

Téma: Kubernetes Kontejnery Monitoring

Aplikační monitoring bez proprietárních SDK v aplikaci

Stále se potkávám se snahou řešit potřebu dohledu aplikace infrastrukturními prostředky. Je vám tohle povědomé? Posbíraná telemetrie zahrnuje CPU, IO, obsazenost paměti, ale neměří pořádně chování aplikačních komponent (requesty, chyby, cache miss, časy zpracování různých volání, délku fronty) Pokud už jsou centralizované logy, jde o výstupy posbírané z obrazovky (stdout/stderr)...

4. 8. 2020

Téma: Monitoring Apps OpenTelmetry

Azure Monitor Workbooky - úvod

Azure Monitor nabízí workbooky jako moc pěknou metodu vizualizace dat. Jak funguje? Co umí? Jak si to můžu přizpůsobit a jak udělat svoje vlastní? Dnes se pustíme do úvodu a od příště budeme zkoušet prakticky vytvářet workbooky, tak snad se vám to bude hodit do vašich projektů a prostředí. Azure...

29. 5. 2020

Téma: Monitoring

Kubernetes prakticky: úvod do monitoringu

Monitoring vašeho Kubernetes prostředí a aplikací v něm je velikánské téma. Dnes bych se chtěl věnovat úvodu a promyslet si co vlastně chci monitorovat a jaké možnosti se mi nabízí. Neberte to jako výčet všech možností, kterých je obrovské množství, ale spíš těch, které mi osobně dávají největší smysl z...

3. 4. 2020

Téma: Kubernetes Monitoring

Kusto: Parsování a transformace dat na Azure Monitor agentovi

V minulém díle jsme si ukázali možnosti parsování a úpravy dat v okamžiku query. To má zásadní výhody, ale i nevýhody, a proto se dnes podíváme na druhou možnost - udělat to v agentovi blíže ke zdroji. V článku se zaměřím na Linux verzi, která se často používá nejen pro...

4. 3. 2020

Téma: Kusto Monitoring

Jak se komunikují incidenty v Azure a kde najdu bližší informace

Může se stát, že v Azure někdy něco nefunguje? Může, ostatně proto na většinu služeb je SLA, které je menší než 100% (výjimkou je tady třeba Azure DNS se 100% SLA). Typicky platí vztah mezi inovacemi a dostupností. Inovace = změna, změna = riziko, riziko = snížená dostupnost. Na to...

18. 2. 2020

Téma: Monitoring

Kusto: Parsování a transformace dat až v okamžiku query

Obrovskou výhodou Kusto je, že dokáže dobře sloužit i pokud data nemá uložena v pro sebe ideálním formátu. Perfektní je, když dostává krásně strukturované logy, které si rovnou na vstupu parsuje a Kusto ukládá zaindexované. To je typický příklad Application Insights, Log Analytics agentů pro sběr síťových informací z VM,...

6. 2. 2020

Téma: Kusto Monitoring

Kusto: Joinovaní tabulek a obohacování dat

Kusto Query Language je velmi mocný a dost často se dosahuje výsledků joinováním data sama na sebe, mezi tabulkami (lze i to i mezi workspace) apod. Podívejme se dnes jak na to. Joinování dat z různých tabulek či dotazů Při budování Kusto dotazů poměrně často potřebuji dělat join. Je to...

31. 1. 2020

Téma: Kusto Monitoring

Kusto: základní i chytré dotazy nad telemetrií včetně předvídání budoucnosti

Dnes se podíváme na Kusto dotazy nad telemtrickými údaji z Azure jako jsou zátěž CPU a podobné metriky. Je to tedy problematika časových řad a ukážeme si základní dotazy, časovou a jinou agregaci, ale dostane se i na pokročilejší analýzu jako je detekce anomálií či predikce budoucího vývoje. To všechno...

10. 12. 2019

Téma: Kusto Monitoring

Kusto: použití jazyka KQL pro práci s resources v Azure

Co je Kusto Query Language, kde ho v Azure najdete a na co je dobrý, už jsme rozebrali minule. Dnes s ním začneme pro něco, co si jednoduše vyzkoušíte, aniž byste museli cokoli zapínat nebo platit. Podíváme se na Azure Resource Explorer. Proč Kusto v Azure Resource Explorer Jakmile máte...

2. 12. 2019

Téma: Kusto Monitoring

Pohled na hybridní svět IT nově i s Azure Arc

Na listopadové konferenci Ignite Microsoft oznámil další strategický krok v oblasti hybridních řešení - Azure Arc. Jak vypadá nasazení cloudového modelu nad vaší vlastní infrastrukturou, hostingem či libovolným cloudem nebo Kubernetes clustery od kohokoli a kdekoli? A jak to doplňuje technologii Azure Stack nebo IoT Edge? Dnes se na to...

11. 11. 2019

Téma: Monitoring Security Governance IoT Azure Stack Kubernetes

Kusto: úvod do Azure jazyka pro práci s logy, telemetrií nebo IoT nejen v rámci Azure Monitor

Kusto Query Language je velmi mocný jazyk pro vyhledávání v datech, která jsou strukturovaná, ale s rozmanitými atributy, měnící se strukturou, obsahující vnořené objekty či texty, časové řady a tak podobně. Proto se ideálně hodí pro logy, telemetrii, data z IoT nebo roztodivné kolekce objektů, které mají mezi sebou dost...

4. 11. 2019

Téma: Kusto Monitoring

Odlehčený jump server jako služba s Azure Bastion

Pro produkční prostředí jsem zastáncem jump serverů pro zvýšení bezpečnosti správy serverů přes RDP a SSH. Dnes bych chtěl říct proč, jak se dá něco takového implementovat v Azure a vyzkoušel jednu z možností - Azure Bastion, odlehčený jump box jako služba. Koncept serverů bez managementu Ještě než se pustím...

17. 10. 2019

Téma: Compute Monitoring

Azure Stack: napojení na Azure Monitor pro hybridní správu

Azure Stack nabízí základní telemetrii na úrovni hostitele, ale ten je vhodné doplnit pokročilým monitoringem z velkého Azure. Azure Stack a jeho monitoring z Azure Monitor je tak vlastně jednou z nejčastějších ukázek skutečné hybridního přístupu. Pro hostování svého IaaS si přinesu vlastnosti cloudu k sobě ve formě Azure Stack...

3. 6. 2019

Téma: Monitoring AzureStack

Azure Monitor: univerzální upozornění na anomálie s novými alerty

Až to bude 20, pošli mi email. Fajn. Jak jsem přišel na 20? Proč je víc problém, o kterém chci vědět? A když je to u jednoho systému problém 20 je to tak i u ostatních? Tohle je přesně potíž klasického nastavení alertování v běžném monitorovacím software. Daleko užitečnější je:...

22. 10. 2018

Téma: Monitoring

Získejte přehled o stavu své VM s novým VM Insights v Azure Monitor

V Azure je hned několik míst, kde můžete sbírat metriky z virtuálních strojů a vytvářet alerty. V preview je nyní krásné sjednocení všech těchto technologií pod jednotnou střechu Azure Monitor. Dívat se tak můžete jak na skupiny VM, tak na konkrétní stroj přímo z jeho hlavní záložky v portálu. Pojďme...

1. 10. 2018

Téma: Monitoring

Azure Security + Management - hybridní monitoring infra, aplikací i bezpečnosti

Včera jsem měl možnost mluvit na webináři, který představil Azure nabídku pro oblast hybridní správy, tedy řešení nejen pro Azure, ale pro systémy v on-premises, hostingu či jiném cloudu. Nejprve vás v 15 minutách seznámím s celkovým pohledem na správu a zmíníme tři nejdůležitější oblasti, které následně uvidíte - monitoring...

27. 4. 2018

Téma: Monitoring Security

Co přinesl rok 2017 v Azure v ovládání a správě

Rok je v cloudu dlouhá doba. V této sérii zpětných pohledů se pokouším ohlédnout za největšími novinkami, které rok 2017 přinesl. Ovládání samotného Azure přineslo za jediný rok velmi příjemné změny a co teprve možnosti správy VM nejen v Azure, ale i ve vašem datovém centru. Ovládání Azure a správa...

1. 1. 2018

Téma: Monitoring

Monitoring Azure a aplikací z open source Grafana

Nadšenci do open source jistě znají projekt Grafana - grafické řešení pro vizualizaci různých metrik. Třeba to používáte pro MySQL či PostgreSQL, možná tak zobrazujete informace z Elasticsearch, z InfluxDB pro time-series data, pro cloud-native aplikace v kontejnerech je to třeba Prometheus. Nemyslím, že by tyto pohledy byly lepší (ale...

15. 11. 2017

Téma: Monitoring

OMS a Log Analytics gateway: napojte VM bezpečně i bez přímého Internetu

OMS a Azure Log Analytics, řešení pro hybridní správu ať jsou vaše systémy kdekoli, jsou hostovaný software (SaaS). Agenti v OS tedy potřebují komunikovat ven. Jak to udělat, abychom nemuseli otevírat spojení všem on-premises VM s využitím OMS brány? A jak omezit samotnou bránu tak, že nedostává přístup do plného...

11. 10. 2017

Téma: Monitoring

Log Analytics: jak měřit výkon čehokoli v Linuxu

Log Analytics (OMS) dokáže sbírat výkonnostní ukazatele z Linuxu. Nativně je OMS agent schopen získávat několik systémových čitačů a má také přímou podporu pro monitoring Apache a MySQL. Nicméně sledovat můžete cokoli, tedy i různé další aplikace, díky integraci s CollectD. Podívejme se dnes jak Log Analytics sbírá performance countery...

13. 7. 2017

Téma: Monitoring

Log Analytics: získejte a vizualizujte jakékoli logy

Log Analytics (OMS) dokáže sbírat Windows eventy a také Syslog. Linuxové aplikace ovšem často místo do syslogu využíva logování do vlastního souboru (a některé aplikace ve Windows také). Jak takové logy dostat do systému? A jak je parsovat a indexovat jednotlivá políčka? A jak z toho všeho udělat krásný dashboard?...

3. 7. 2017

Téma: Monitoring

Azure Security Center: Update management aneb patchujte Windows i Linux

Azure Security Center (produkt, který postupně konsoliduje vlastnosti security v Azure a bezpečnostní analýzu OMS), nástroj pro hybridní správu vašeho datového centra i cloudu, nabízí schopnost přehledu chybějících aktulizací operačních systému Windows a Linux. Ujistěte se, že jsou vaše servery v dobrém stavu a můžete ASC využít i k inicializaci...

25. 6. 2017

Téma: Monitoring Security

OMS: Jak přidat VMko v Azure a v on-premises

Microsoft Operation Management Suite, nástroj pro hybridní správu od operačních systémů přes síťařinu, middleware a bezpečnost až po aplikace, využívá agentů v Windows nebo Linux. Pojďme dnes projít začátkem. Zprovozníme celé OMS a připojíme po jedné Windows a Linux mašině v Azure i v on-premises. Založení OMS prostoru Celé OMS...

21. 6. 2017

Téma: Monitoring

Očuchávátko, které vám pomůže zjistit co máte a jak s tím do Azure

Bylo pro mě docela překvapení, když jsem zjistil, že Microsoft má volně dostupný nástroj s tajemným názvem Microsoft Assessment and Planning Toolkit (MAP tool). Vyšlo najevo, že je to velmi pěkné očuchávátko, které z vašeho prostředí či z prostředí zákazníka zjistí základní inventární informace (VMka, desktopy, virtualizační platformy, databáze) a...

11. 5. 2017

Téma: Monitoring

Analyzujte logy v reálném čase s OMS

Analýza logů je Big Data problém. Podívejme se jak můžete provádět velmi komplexní analýzu nad logy v Microsoft Operations Management Suite v reálném čase. Fulltextové vyhledávání Hledání v logu OMS disponuje velmi silným query jazykem, který v tomto článku budeme postupně odhalovat. Pro začátek si zobrazíme všechno - za jediný...

21. 4. 2017

Téma: Monitoring

Správa IT je Big Data problém - začněte to řešit novými prostředky

Byly doby, kdy bylo těžké zjistit co se s IT děje, protože nebyla data. Dnes je to jinak. Naprosto běžně vašich pár set VM a aplikací dokáže vygenerovat několik milionů hlášek a měření za jediný den - a to tradičním produktům způsobuje šok vedoucí k jejich pomalosti až nepoužitelnosti. Moderní...

12. 4. 2017

Téma: Monitoring