Tomáš Kubica

Asynchronní pattern pro vaše AI aplikace

Máte ve vaší webové aplikaci nějaké zpracování uživatelského vstupu v AI, například rozpoznání obrázku (ověření kvality, vhodnosti, generování tagů, popisků, kategorií), dokumentu (vytěžení údajů, tabulek, shrnutí, kategorizace) nebo vyhodnocení vstupního textu? Pokud používáte jazykové modely, tak celá odpověď může trvat minimálně vteřiny, ale spíše desítky vteřin. Na rozdíl od chatu,...

10. 2. 2025

Téma: AI AzureContainerApps Monitoring

Jak potrápit reasoning AI? Co dát Člověče nezlob se?

Nové přemýšlecí AI modely jsou skvělé, ale jak je demonstrovat tak, aby to každý pochopil? Můžeme zkoušet složitá vědecká zadání nebo zapeklité úlohy v programovaní, které běžný model typu GPT-4o nezvládne. Jenže audience, která není z oboru (a tím myslím třeba, že je programátorem v konkrétním jazyce), je nezvládne taky....

2. 2. 2025

Téma: AI

Zkoušejte a vyvíjejte AI aplikace zadarmo s GitHub Models - OpenAI, Llama, Mistral i Phi

AI modely pro vývojáře zdarma na GitHub Models Chcete přidat jazykové modely do svých aplikací? Používat jednotné API pro hned několik modelů od OpenAI (včetně o1) až po větší i menší open source modely jako je Llama nebo Phi? Rychle model vyzkoušet na hřišti (playgroundu) a rovnou si zkopírovat ukázku...

27. 1. 2025

Téma: AI GitHub

Jiskra naděje pro ty, co mají skvělé nápady na aplikace, ale neumí ani trochu programovat - GitHub Spark

Začněme výsledkem - tady je aplikace, kterou si dnes vytvoříme bez napsání jediného řádku kódu i bez klikání v nějakém designeru low-code platformy. Je pro studenty, kde zaznamenávají v rámci výuky místa, která navštívili, s pomocí AI k nim dávají popis, svoje hodnocení a fotografie z místa. Aplikace umožňuje přidávat,...

19. 1. 2025

Téma: AI GitHub

Vaše vlastní AI chatbot aréna včetně monitoringu s OpenTelemetry, AI Foundry, Gradio a Azure Container Apps nahozená přes Terraform

Potřeboval jsem pro svoje účely vyrobit jednoduché demo, kde bych ukázal nasazení jednoduché aplikace sloužící pro rychlé interaktivní porovnání dvou modelů mezi sebou, například z rodiny Phi open source modelů s high-end řešeními od OpenAI a zajistit monitoring a logování. Řešení mělo splňovat následující požadavky: Kompletně automatizované nasazení infrastruktury a...

14. 1. 2025

Téma: AI Monitoring OpenTelemetry GitHub

Váš vlastní code interpreter jako služba v Azure Container Apps s LLM a LangChain

Jazykové modely, jak je z názvu dost patrné, jsou skvělé v práci s jazykem a ty opravdu velké jako je OpenAI, Anthropic, Gemini nebo velký Mistral zvládají velmi dobře i logické uvažování a další disciplíny. I ty nejlepší jsou ale zatím poměrně špatné v matematice nebo nějaké klasické práci s...

10. 6. 2024

Téma: AI AzureContainerApps

Je open source počítačové vidění typu YOLO dost dobré? A jak ho rozjet v Azure? Část 4: výkon, zabalení a servírování přes API

Dnes si změříme výkon modelu na různém železe v Azure, zabalíme si model do krabičky a začneme ho servírovat přes API. Benchmark utilitku nám dá přímo YOLOv8 a jako compute pro notebooky poslouží Azure Machine Learning service. Model pro nějakou konsolidaci vyexportujeme do ONNX a jako servírovací framework použijeme Triton...

7. 8. 2023

Téma: AI

Open source velký jazykový model v Azure - vyzkoušejme Meta Llama 2 v Azure ML

Tento týden Microsoft a Meta oznámili prohloubení spolupráce v oblasti AI a od prvního okamžiku tak můžete jejich nový jazykový model najít v Azure Machine Learning službě na kliknutí. Pojďme si dnes říct co nová Llama 2 je, proč je to velká událost, prakticky si vyzkoušíme v Azure, kde si...

20. 7. 2023

Téma: AI

Je open source počítačové vidění typu YOLO dost dobré? A jak ho rozjet v Azure? Část 3: vlastní model, přitrénování vs. přetrénování

Minule jsme využili natrénovaný model k tomu, abychom levně získali dobré předpovídání nových dat - dvou plyšáků. To se povedlo, ale musíme se zamyslet nad tímto: Důvod proč tak dobře a levně fungovalo je, že naše nové kategorie objektů nejsou nějak moc jiné. Je možné, že u zcela jinak vypadajících...

11. 7. 2023

Téma: AI

Je open source počítačové vidění typu YOLO dost dobré? A jak ho rozjet v Azure? Část 2: finetuning vlastními obrázky

Do služby Azure Machine Learning jsem si přidal compute s NVIDIA A100 kartičkou, což je celkem dělo a pustil se do trénování YOLOv8. Jaké máte možnosti přidat svoje data, kudy do toho a jak to funguje? Tyhle hrátky by nám zase znovu měly pomoci pochopit rámcově co se děje při...

28. 6. 2023

Téma: AI

Když AI trénuje AI: Jak GPT učí rybařit lamu (LLaMa) v projektech Alpaca, Vicun nebo Orca od Microsoftu?

Cena jako problém LLM GPT-4 je skvělé a je to asi nejlepší jazykový model, který je dnes k dispozici. Jestli někdo OpenAI a Microsoft v oblasti obrovských modelů může ohrozit, tak hlavně Google a Facebook, ale sledovat je vhodné i Apple, Baidu, Amazon a snad stále ještě IBM (smutný příběh)...

26. 6. 2023

Téma: AI

Je open source počítačové vidění typu YOLO dost dobré? A jak ho rozjet v Azure? Část 1: natrénovaný model

Všichni jsou teď zakleknutí v jazykových modelech a není se co divit. Nicméně vizuální věci jsou stále naprosto zásadní a to zejména ve světě lidí, kteří (kromě hmatu) mají vidění za jednoznačně nejdůležitější smysl (na nedotykové vzdálenosti). V této oblasti je jeden open source model, který je po mnoho let...

20. 6. 2023

Téma: AI

Jakou vybrat v Azure databázi pro vektory, důležitou součást řešení pro zahrnutí vlastních dat do ChatGPT?

Velké jazykové modely (LLM) nejsou něco, kam nahrajete svoje data - tak to nefunguje. Pokud chcete firemní dokumenty zpřístupnit přes ChatGPT máte především tyto možnosti: Máte dostatečně malý kontext, aby se vešel do promptu, takže ho k dotazu přilepíte. Tohle je dobré v situacích, kdy vám jde o kreativní odpovědi,...

14. 6. 2023

Téma: AI CosmosDB PostgreSQL

Open source modely v Azure Machine Learning - mají na ChatGPT? Zkusíte si sami?

Právě probíhá velká debata jak naložit s velkými jazykovými modely (LLM), které se v poslední době staly opravdu velmi silnými. Jejich riziko je myslím naprosto zásadní. Hitler nezpůsobil největší nelidskost v dějinách svojí fyzickou sílou, ale slovy. A právě slova je to, co tyhle modely umí opravdu dobře. Jejich použití...

12. 6. 2023

Téma: AI

Velké jazykové modely v AI: Blábolení, které začalo být zatraceně užitečné

Jak všechny ty velké jazykové modely, které teď mají takovou pozornost těch Internetů (přestože jsou tady už pár let, jenže najednou je jejich kvalita tak vysoko, že už to nelze přehlédnout), vlastně intuitivně fungují? Nemyslím teď zkoumání technologie transformerů, topologie těchto modelů, proč jsou některé encoder-decoder zatímco GPT je jen...

14. 2. 2023

Téma: AI

Azure OpenAI Service - vytažení informací z českého textu do JSON

V jednom z předchozích článků o Azure OpenAI jsem ukazoval, jak model skvěle zvládá sumarizaci tiskových zpráv ministerstva v češtině. Dnes zkusíme vytáhnout z textu klíčové informace a to dokonce strukturovanou formou ve formě JSON. Co je na tom úžasné je hlavně to, že je to pořád stejný model. Na...

6. 2. 2023

Téma: AI

Azure OpenAI Service - doporučení podobného filmu a chytré vyhledávání prakticky

Jak vám může Azure OpenAI pomoci s doporučováním podobných produktů nebo chytrým vyhledáváním? V případě krátkého textu by mohlo stačit položit dotaz podobně jako v ChatGPT, ale co když mám databázi popisu 33 000 filmů v češtině? Vyzkoušejme si jak na to s embeddings v Azure OpenAI.

1. 2. 2023

Téma: AI

Azure OpenAI Service - sumarizace textu v češtině prakticky

Pojďme si dnes pohrát s GPT-3.5 v Azure OpenAI Service na příkladu sumarizace textu. Tento jazykový model stojí i za dnes už legendárním ChatGPT, ale my nebudeme konverzovat s robotem, ale využijeme API dostupná přes Azure, která si můžeme ladit a trochu se s tím seznámit. Hned dopředu musím říct...

25. 1. 2023

Téma: AI

AI v Azure prakticky: trénování vlastní klasifikace obrázků - AutoML vs. Custom Vision vs. holý TensorFlow kód v Azure

Potřebujete AI pro klasifikaci obrázků, na kterých jsou nějaké vaše speciality, takže generická služba vám nestačí? Pojďme si dnes ukázat jak na to a srovnat výsledky čtyř přístupů: Plně vlastní model s Azure Machine Learning Dotrénování hotového modelu v Azure Machine Learning AutoML pro automatické nalezení a dotrénování nejlepšího modelu...

12. 1. 2023

Téma: AI

Azure Machine Learning Pipeline prakticky

V rámci přípravy na certifikaci Azure Data Scientist Associate jsem si udělal praktické hřišťátko na pipeline s využitím CLI v2, MLFlow, komponent, hledání hyperparametrů i zřízení vlastních environmentů ve formě Docker kontejnerů. Rád bych se podělil o pár postřehů.

2. 1. 2023

Téma: AI

Proč je snazší rozprášit lidstvo v šachu, než v Halo nebo Battlefield aneb Reinforcement Learning pro zelenáče

Počítač sice v roce 1997 porazil Kasparova v šachu, ale v té době se ve střílečce Quake v podobě nepřátel choval jako dement - snadno jsem ho porazil díky lepší taktice. Vypadalo to, že Deep Blue je prostě jen nadrcený - v něčem variabilnějším, třeba ve hře go, nemá šanci....

21. 7. 2022

Téma: AI ML pro zelenáče

Kubernetes pro velká data a strojové učení - proč AzureML nebo Apache Spark používá projekt Volcano?

Pokud ze světa infrastruktury a kontejnerů jako já nakouknete přes řeku k borcům od zpracování dat a strojového učení nejde se nevšimnout, že si tam hrají s virtuálkama, nad které si dávají Spark, Hadoop a podobné nástroje, které jim mají umožňit nahazovat jednotlivé úkoly nad takto spravovanou infrastrukturou. Mezitím svět...

18. 7. 2022

Téma: AI Kubernetes

Tenhle člověk neexistuje - generativní modely pro zelenáče

Podívejte se na https://thispersondoesnotexist.com/. Zkuste to hned a udělejte pár znovunačtení. Hned takhle zkraje vám prozradím pár triků: Na pozadí nikdy není nějaký nápis a pokud ano, tak nedává smysl. U žen koukněte na náušnice - nejsou občas divné nebo nemají jen jednu? Soustřeďte se na oblečení - dává smysl?...

11. 7. 2022

Téma: AI ML pro zelenáče

Kolik jazyků umíš, tolikrát jsi robotem - Recurrent Neural Networks a Transformers pro zelenáče

“Na topole podle skal zelený můžík …”, no, co udělal? Rozpoznání žánru hudby, shoda podmětu s přísudkem, analýza sentimentu v textu, převod mluvené řeči na text či překlady - v tom všem se obvykle vyskytují prvky Recurrent Neural Networks nebo Transformers. Jak to funguje, tedy alespoň z pohledu znalostí zelenáče?...

30. 6. 2022

Téma: AI ML pro zelenáče

Jak to vidí počítač - Convolutional Neural Networks pro zelenáče

Opět bez záruky správnosti sepíšu pár poznámek, co jsem se zatím dozvěděl o tom, jak počítače vidí. Projel jsem nějaký kurz, vyzkoušel pár praktických příkladů s Keras v Azure ML, poslechl nějaké přednášky na YouTube a vysál chytrého kolegu a zjištění jsou pro mě fascinující.

16. 6. 2022

Téma: AI ML pro zelenáče

Machine Learning - úvod pro zelenáče jako jsem já

Přes léto chci zas o trochu víc proniknout do strojového učení a chci si z toho udělat pár zápisků sem na blog - pomáhá to utřídit si myšlenky. Nejsem žádný expert, ani zdaleka, ale třeba vám to pomůže se zorientovat, pokud taky začínáte. Všechny profíky prosím a shovívavost a hlavně...

8. 6. 2022

Téma: AI ML pro zelenáče

Osoby a obsazení aneb jak Microsoft AI vytáhne entity z textu včetně češtiny

Cognitivní služby v Azure jsou velmi mocné a je to hodně zajímavá oblast. Bohužel čeština není zrovna světový jazyk a tak podpora pro ni není nikdy na úrovni hlavních jazyků planety, ale přesto se do služeb postupně dostává. Dnes si vyzkoušíme Named Entity Recognizer, který češtinu podporuje a řekneme si...

19. 10. 2020

Téma: AI

Azure právě dramaticky zlepšil svou mluvenou češtinu aneb od Jakuba k Vlastičce

Je to měsíc co jsem vyzkoušel podporu češtiny pro převod mluveného slova na text (speech-to-text) a byl jsem příjemně překvapen přesností a kvalitou. Současně jsem otestoval obrácený směr, tedy syntézu řeči. Microsoft používal pouze standardní model, ale Jakub na rozdíl od paní z Google podle mě lépe pracoval s rytmem...

29. 9. 2020

Téma: AI

Azure AI už rozumí mluvené češtině - jak si v tom vede cloudová trojka Microsoft, Google a Amazon?

Tento měsíc přistála do Azure kognitivních služeb příjemná aktualizace a to konkrétně podpora češtiny pro speech-to-text API. Nechtěl jsem se nechat zaskočit celkovým počtem podporovaných “jazyků” u třech cloudových hráčů, protože občas tam naleznete 20 podob arabštiny, 20 podob angličtiny a 10 variant španělštiny. Co mě zajímá je zkrátka čeština....

19. 8. 2020

Téma: AI

Plyšový oslík nebo ovečka? Vyzkoušejme trénování Microsoft robota Custom Vision.

Kognitivní služby v Azure mají připravené vision modely, které jsou schopné říct, zda je na obrázku ovce nebo osel (pro strojové vyhodnocování živého betléma se vám to příští týden může hodit). Ale co ty plyšové? Ty samozřejmě nepozná. O strojovém učení nevím skoro nic, ale služba Custom Vision vypadá tak...

17. 12. 2018

Téma: AI