Zpracování toku událostí - Event stream processing

Sloučit se zpracováním streamu

Event stream processing , neboli ESP , je sada technologií navržených tak, aby napomáhala konstrukci informačních systémů řízených událostmi . Mezi technologie ESP patří vizualizace událostí, databáze událostí, middleware řízený událostmi a jazyky pro zpracování událostí nebo komplexní zpracování událostí (CEP). V praxi se termíny ESP a CEP často používají zaměnitelně. ESP se zabývá úkolem zpracovávat toky dat událostí s cílem identifikovat smysluplný vzorec v těchto proudech, přičemž využívá technik, jako je detekce vztahů mezi více událostmi, korelace událostí, hierarchie událostí a další aspekty, jako je kauzalita, členství a načasování .

ESP umožňuje mnoho různých aplikací, jako je algoritmické obchodování s finančními službami, aplikace pro zpracování událostí pomocí radiofrekvenční identifikace (RFID), detekce podvodů , monitorování procesů a služby založené na poloze v telekomunikacích.

Příklady

Pro ilustraci následující fragmenty kódu ukazují detekci vzorů v rámci streamů událostí. První z nich je příkladem zpracování datového proudu pomocí spojitého dotazu SQL (dotaz, který navždy provádí zpracování přijatých dat na základě časových razítek a doby trvání okna). Tento fragment kódu ilustruje PŘIPOJENÍ dvou datových proudů, jednoho pro akciové objednávky a jednoho pro výsledné obchody s akciemi. Dotaz vydá proud všech Objednávek odpovídajících obchodu do jedné sekundy od zadání Objednávky. Výstupní proud je řazen podle časového razítka, v tomto případě časového razítka ze streamu Objednávky.

SELECT DataStream
   Orders.TimeStamp, Orders.orderId, Orders.ticker,
   Orders.amount, Trade.amount
FROM Orders
JOIN Trades OVER (RANGE INTERVAL '1' SECOND FOLLOWING)
ON Orders.orderId = Trades.orderId;

Další fragment ukázkového kódu detekuje svatby mezi proudem vnějších „událostí“, jako je zvonění kostelních zvonů, vzhled muže ve smokingu nebo ranním obleku, ženy v splývavých bílých šatech a rýže létající vzduchem. „Komplexní“ nebo „složená“ událost je to, co člověk vyvozuje z jednotlivých jednoduchých událostí: probíhá svatba.

WHEN Person.Gender EQUALS "man" AND Person.Clothes EQUALS "tuxedo"
FOLLOWED-BY
  Person.Clothes EQUALS "gown" AND
  (Church_Bell OR Rice_Flying)
WITHIN 2 hours
ACTION Wedding

Viz také

• Complex event processing (CEP) - Související technologie pro budování a správu informačních systémů řízených událostmi.
• Data Stream Management System (DSMS) - Typ softwarového systému pro správu a dotazování datových proudů
• openPDC Kompletní sada aplikací pro zpracování streamování dat časové řady v reálném čase.
• Výpočet v reálném čase- systémy ESP jsou obvykle systémy v reálném čase
• RFID - Radiofrekvenční identifikace nebo RFID doporučuje použití ESP, aby se zabránilo záplavě dat
• SCADA - dohledová kontrola a získávání dat, podobná technologie používaná ve strojírenských aplikacích
• Apache Flink - rámec pro zpracování streamů s otevřeným zdrojovým kódem pro distribuované, škálovatelné aplikace pro streamování dat
• WSO2 Stream Processor - Open source source Steaming SQL stream stream framework pro distribuované, škálovatelné aplikace pro streamování dat

Reference

• Projekt zpracování proudu MIT/Brown/Brandeis „Aurora“
• Projekt „PIPES“ na univerzitě v Marburgu
• The Power of Events od Davida Luckhama ( ISBN  0-201-72789-7 ), ze Stanfordské univerzity, kniha o CEP.
• Článek o oddělení pšenice od plev o CEP aplikovaném na RFID se objevil v deníku RFID
• Komplexní zpracování událostí a inteligence v reálném čase - zdroj průmyslově neutrálních informací o aplikacích, výzkumu, případech použití, referenčních architekturách a vývoji zpracování událostí, které provozuje prof David Luckham
• Odysseus - otevřený zdrojový rámec pro motory pro zpracování událostí založené na Javě