Funkcja agregująca - Aggregate function

W zarządzaniu bazą danych funkcja agregująca lub funkcja agregująca to funkcja, w której wartości wielu wierszy są grupowane razem w celu utworzenia pojedynczej wartości podsumowującej .

Typowe funkcje agregujące obejmują:

• Średnia (tj. średnia arytmetyczna )
• Liczyć
• Maksymalny
• Mediana
• Minimum
• Tryb
• Zasięg
• Suma

Inne obejmują:

• Nanmean (oznacza ignorowanie wartości NaN, znanych również jako „nil” lub „null”)
• Standardowe

Formalnie funkcja agregująca przyjmuje jako dane wejściowe zbiór , zestaw wielokrotny (torbę) lub listę z pewnej domeny wejściowej I i wyprowadza element domeny wyjściowej O . Domeny wejściowe i wyjściowe mogą być takie same, na przykład for SUM, lub mogą być różne, na przykład for COUNT.

Funkcje agregujące występują powszechnie w wielu językach programowania , w arkuszach kalkulacyjnych iw algebrze relacyjnej .

listaggFunkcji, zgodnie z definicją w SQL: 2016 standardowe dane kruszywa z wielu rzędów w jeden połączonego łańcucha.

Rozkładalne funkcje agregujące

Funkcje agregujące stanowią wąskie gardło , ponieważ potencjalnie wymagają posiadania wszystkich wartości wejściowych naraz. W obliczeniach rozproszonych pożądane jest podzielenie takich obliczeń na mniejsze części i rozdzielenie pracy, zwykle obliczeń równoległych , za pomocą algorytmu dziel i zwyciężaj .

Niektóre funkcje agregujące można obliczyć, obliczając agregat dla podzbiorów, a następnie agregując te agregaty; przykłady obejmują COUNT, MAX, MIN,i SUM. W innych przypadkach agregat można obliczyć, obliczając liczby pomocnicze dla podzbiorów, agregując te liczby pomocnicze i na końcu obliczając liczbę całkowitą; przykłady obejmują AVERAGE(śledzenie sumy i liczby, dzielenie na końcu) i RANGE(śledzenie maks. i min., odejmowanie na końcu). W innych przypadkach agregat nie może być obliczony bez jednoczesnej analizy całego zbioru, chociaż w niektórych przypadkach można rozłożyć przybliżenia; przykłady obejmują DISTINCT COUNT, MEDIAN,i MODE.

Takie funkcje są nazywane dekomposowalnymi funkcjami agregacyjnymi lub dekomposowalnymi funkcjami agregacyjnymi . Najprostsze można nazwać samorozkładalnymi funkcjami agregacyjnymi , które są zdefiniowane jako funkcje f takie, że istnieje operator scalania taki, że ${\ Displaystyle \ diament}$

${\ Displaystyle f (X \ uplus Y) = f (X) \ diament f (Y)}$

gdzie jest połączenie multisetów (patrz homomorfizm monoidów ). ${\ Displaystyle \ plus}$

Na przykład SUM:

${\ Displaystyle \ Operatorname {SUM} ({x}) = x}$, dla singletona;

${\ Displaystyle \ Operatorname {SUM} (X \ plus Y) = \ Operatorname {SUM} (X) + \ Operatorname {SUM} (Y)}$, co oznacza, że ​​scalanie jest po prostu dodawaniem.${\ Displaystyle \ diament}$

COUNT:

${\ Displaystyle \ Operatorname {LICZBA} ({x}) = 1}$,

${\ Displaystyle \ operatorname {COUNT} (X \ plus Y) = \ operatorname {COUNT} (X) + \ operatorname {COUNT} (Y)}$.

MAX:

${\ Displaystyle \ Operatorname {MAX} ({x}) = x}$,

${\ Displaystyle \ Operatorname {MAX} (X \ plus Y) = \ Max {\ Bigl (} \ Operatorname {MAX} (X), \ Operatorname {MAX} (Y) {\ Bigr )}}$.

MIN:

${\textstyle \nazwa operatora {MIN} ({x})=x}$,

${\ Displaystyle \ Operatorname {MIN} (X \ plus Y) = \ min {\ Bigl (} \ Operatorname {MIN} (X), \ Operator {MIN} (Y) {\ Bigr)}}$.

Zauważ, że samorozkładalne funkcje agregacji można łączyć (formalnie biorąc produkt) przez zastosowanie ich osobno, więc na przykład można obliczyć zarówno SUMi COUNTw tym samym czasie, śledząc dwie liczby.

Bardziej ogólnie, można zdefiniować rozkładalną funkcję agregacji f jako taką, która może być wyrażona jako złożenie końcowej funkcji g i samorozkładalnej funkcji agregacji h , . Na przykład = / i = − . ${\displaystyle f=g\circ h,f(X)=g(h(X))}$AVERAGESUMCOUNTRANGEMAXMIN

W strukturze MapReduce te kroki są znane jako InitialReduce (wartość w indywidualnym zestawie rekordów/singleton), Combine (scalanie binarne w dwóch agregacjach) i FinalReduce (funkcja końcowa na wartościach pomocniczych) oraz przenoszenie agregacji dającej się rozłożyć przed poznaniem fazy Shuffle jako krok InitialReduce,

Rozkładalne funkcje agregacji są ważne w przetwarzaniu analitycznym online (OLAP), ponieważ umożliwiają obliczanie zapytań agregujących na podstawie wstępnie obliczonych wyników w kostce OLAP , a nie na danych podstawowych. Na przykład jest łatwy do obsługi COUNT, MAX, MIN,i SUMw OLAP, ponieważ można je obliczyć dla każdej komórki kostki OLAP, a następnie podsumować („zwinąć”), ale jest to trudne do obsługi MEDIAN, ponieważ musi to być obliczone dla każdego widoku osobno .

Inne rozkładalne funkcje agregujące

W celu obliczenia średniej i odchylenia standardowego z danych zagregowanych konieczne jest posiadanie dla każdej grupy: sumy wartości (Σx _i = SUMA(x)), liczby wartości (N=LICZBA(x)) oraz suma kwadratów wartości (Σx _i ² =SUMA(x ² )) każdej grupy.

AVG:

${\ Displaystyle \ Operatorname {AVG} (X \ plus Y) = {\ Bigl (} \ Operator {AVG} (X) * \ Operator {LICZBA} (X) + \ Operator {AVG} (Y) * \ Operator { COUNT} (Y){\bigr )}/{\bigl (}\operatorname {COUNT} (X)+\operatorname {COUNT} (Y){\bigr )}}$.

lub

${\ Displaystyle \ Operatorname {AVG} (X \ plus Y) = {\ Bigl (} \ Operatorname {SUM} (X) + \ Operatorname {SUM} (Y) {\ Bigr )} / {\ Bigl (} \ Operatorname {LICZBA} (X)+\nazwa operatora {COUNT} (Y){\bigr )}}$.

lub tylko jeśli LICZBA(X)=LICZBA(Y)

${\ Displaystyle \ Operatorname {AVG} (X \ plus Y) = {\ Bigl (} \ Operator {AVG} (X) + \ Operator {AVG} (Y) {\ Bigr )}/2}$.

SUM(x2): Suma kwadratów wartości jest ważna w celu obliczenia odchylenia standardowego grup

${\ Displaystyle \ Operatorname {SUM} (X ^ {2} \ plus Y ^ {2}) = \ Operatorname {SUM} (X ^ {2}) + \ Operatorname {SUM} (Y ^ {2})}$

STDDEV:
Dla skończonej populacji o równych prawdopodobieństwach we wszystkich punktach mamy

${\ Displaystyle \ Operatorname {STDDEV} (X) = s (x) = {\ sqrt {{\ Frac {1} {N}} \ suma _ {i = 1} ^ {N} (x_ {i} - { \overline {x}})^{2}}}={\sqrt {{\frac {1}{N}}\left(\sum _{i=1}^{N}x_{i}^{2 }\right)-({\overline {x}})^{2}}}={\sqrt {\nazwa operatora {SUMA} (x^{2})/\nazwa operatora {LICZBA} (x)-\nazwa operatora { ŚREDNIA} (x)^{2}}}}$

Oznacza to, że odchylenie standardowe jest równe pierwiastkowi kwadratowemu z różnicy między średnią kwadratów wartości a kwadratem średniej wartości.

${\ Displaystyle \ Operatorname {STDDEV} (X \ plus Y) = {\ sqrt {\ Operatorname {SUM} (X ^ {2} \ uplus Y ^ {2})/\ Operatorname {LICZBA} (X \ plus Y) -\nazwa operatora {AVG} (X\uplus Y)^{2}}}}$.

${\ Displaystyle \ operatorname {STDDEV} (X \ plus Y) = {\ sqrt {{\ bigl (} \ operatorname {SUM} (X ^ {2}) + \ operatorname {SUM} (Y ^ {2}) { \bigr )}/{\bigl (}\nazwa operatora {LICZBA} (X)+\nazwa operatora {LICZBA} (Y){\bigr )}-{\bigl (}(\nazwa operatora {SUMA} (X)+\nazwa operatora {SUMA} (Y))/(\nazwa operatora {LICZBA} (X)+\nazwa operatora {LICZBA} (Y)){\bigr )}^{2}}}}$.

Zobacz też

• Tabela krzyżowa, czyli tabela kontyngencji
• Wiercenie danych
• Eksploracja danych
• Przetwarzanie danych
• Wyodrębnij, przekształć, załaduj
• Składanie (funkcja wyższego rzędu)
• Grupuj według (SQL) , klauzula SQL
• kostka OLAP
• Przetwarzanie analityczne online
• Stół obrotowy
• Algebra relacyjna
• Funkcje użyteczności na dobrach niepodzielnych#Zbiory funkcji użyteczności
• XML do analizy
• AgregatIQ

Bibliografia

Cytaty

Bibliografia

Dalsza lektura

• Grabischa, Michela; Marichal, Jean-Luc; Mesiar, Radko; Pap, Endre (2009). Funkcje agregacji . Encyklopedia Matematyki i jej Zastosowania. 127 . Cambridge: Wydawnictwo Uniwersytetu Cambridge . Numer ISBN 978-0-521-51926-7. Zbl  1196.00002 .
• Funkcje agregujące Oracle: MAX, MIN, COUNT, SUM, AVG Przykłady

Linki zewnętrzne

• Funkcje agregujące (języka Transact-SQL)