Filtragem generalizada - Generalized filtering

A filtragem generalizada é um esquema de filtragem Bayesiana genérico para modelos de espaço de estado não lineares. É baseado em um princípio variacional de menor ação , formulado em coordenadas generalizadas. Observe que o conceito de "coordenadas generalizadas" usado aqui difere do conceito de coordenadas generalizadas de movimento usado na análise de sistemas dinâmicos (multicorpos). A filtragem generalizada fornece densidades posteriores sobre estados ocultos (e parâmetros), gerando dados observados usando uma descida gradiente generalizada na energia livre variacional, sob a suposição de Laplace . Ao contrário da filtragem clássica (por exemplo, Kalman-Bucy ou de partículas ), a filtragem generalizada evita as suposições Markovianas sobre flutuações aleatórias. Além disso, opera online, assimilando dados para aproximar a densidade posterior sobre quantidades desconhecidas, sem a necessidade de retrocesso. Casos especiais incluem filtragem variacional , maximização de expectativa dinâmica e codificação preditiva generalizada .

Definição

Definição : a filtragem generalizada se baseia na tupla : ${\ displaystyle (\ Omega, U, X, S, p, q)}$

• Um espaço de amostra a partir do qual as flutuações aleatórias são extraídas${\ displaystyle \ Omega}$${\ displaystyle \ omega \ in \ Omega}$
• Estados de controle - que atuam como causas externas, termos de entrada ou de força${\ displaystyle U \ in \ mathbb {R}}$
• Estados ocultos - que causam estados sensoriais e dependem de estados de controle${\ displaystyle X: X \ times U \ times \ Omega \ to \ mathbb {R}}$
• Estados do sensor - um mapeamento probabilístico dos estados ocultos e de controle${\ displaystyle S: X \ times U \ times \ Omega \ to \ mathbb {R}}$
• Densidade gerativa - sobre os estados sensoriais, ocultos e de controle em um modelo generativo${\ displaystyle p ({\ tilde {s}}, {\ tilde {x}}, {\ tilde {u}} \ mid m)}$${\ displaystyle m}$
• Densidade variacional - sobre estados ocultos e de controle com média${\ displaystyle q ({\ tilde {x}}, {\ tilde {u}} \ mid {\ tilde {\ mu}})}$${\ displaystyle {\ tilde {\ mu}} \ in \ mathbb {R}}$

Aqui, ~ denota uma variável em coordenadas generalizadas de movimento: ${\ displaystyle {\ tilde {u}} = [u, u ', u' ', \ ldots] ^ {T}}$

Filtragem generalizada

O objetivo é aproximar a densidade posterior sobre os estados ocultos e de controle, dados os estados do sensor e um modelo generativo - e estimar a (integral do caminho) da evidência do modelo para comparar diferentes modelos. Isso geralmente envolve uma marginalização intratável sobre estados ocultos, então a evidência do modelo (ou probabilidade marginal) é substituída por um limite de energia livre variacional. Dadas as seguintes definições: ${\ displaystyle p ({\ tilde {s}} (t) \ vert m)}$

${\ displaystyle {\ tilde {\ mu}} (t) = {\ underset {\ tilde {\ mu}} {\ operatorname {arg \, min}}} \ {F ({\ tilde {s}} (t ), {\ tilde {\ mu}}) \}}$

${\ displaystyle G ({\ tilde {s}}, {\ tilde {x}}, {\ tilde {u}}) = - \ ln p ({\ tilde {s}}, {\ tilde {x}} , {\ tilde {u}} \ vert m)}$

Denote a entropia de Shannon da densidade por . Podemos, então, escrever a energia livre variacional de duas maneiras: ${\ displaystyle q}$${\ displaystyle H [q] = E_ {q} [- \ log (q)]}$

${\ displaystyle F ({\ tilde {s}}, {\ tilde {\ mu}}) = E_ {q} [G ({\ til {s}}, {\ til {x}}, {\ til { u}})] - H [q ({\ tilde {x}}, {\ tilde {u}} \ vert {\ tilde {\ mu}})] = - \ ln p ({\ tilde {s}} \ vert m) + D_ {KL} [q ({\ tilde {x}}, {\ tilde {u}} \ vert {\ tilde {\ mu}}) \ vert \ vert p ({\ tilde {x} }, {\ tilde {u}} \ vert {\ tilde {s}}, m)]}$

A segunda igualdade mostra que minimizar a energia livre variacional (i) minimiza a divergência de Kullback-Leibler entre a densidade posterior verdadeira e variacional e (ii) torna a energia livre variacional (uma aproximação de limite) a evidência de log negativo (porque a divergência nunca pode ser menor que zero). Sob a suposição de Laplace, a densidade variacional é gaussiana e a precisão que minimiza a energia livre é . Isso significa que a energia livre pode ser expressa em termos da média variacional (omitindo constantes): ${\ displaystyle q ({\ tilde {x}}, {\ tilde {u}} \ mid {\ tilde {\ mu}}) = {\ mathcal {N}} ({\ tilde {\ mu}}, C )}$${\ displaystyle C ^ {- 1} = \ Pi = \ partial _ {{\ tilde {\ mu}} {\ tilde {\ mu}}} G ({\ tilde {\ mu}})}$

${\ displaystyle F = G ({\ tilde {\ mu}}) + \ textstyle {1 \ over 2} \ ln \ vert \ partial _ {{\ tilde {\ mu}} {\ tilde {\ mu}}} G ({\ tilde {\ mu}}) \ vert}$

Os meios variacionais que minimizam a (integral do caminho) da energia livre agora podem ser recuperados resolvendo o filtro generalizado:

${\ displaystyle {\ dot {\ tilde {\ mu}}} = D {\ tilde {\ mu}} - \ parcial _ {\ tilde {\ mu}} F ({\ til {s}}, {\ til {\ mu}})}$

onde é um operador derivado de matriz de bloco de matrizes de identificação de modo que${\ displaystyle D}$${\ displaystyle D {\ tilde {u}} = [u ', u' ', \ ldots] ^ {T}}$

Base variacional

A filtragem generalizada é baseada no seguinte lema: A solução autoconsistente para satisfazer o princípio variacional da ação estacionária , onde a ação é a integral do caminho da energia livre variacional${\ displaystyle {\ dot {\ tilde {\ mu}}} = D {\ tilde {\ mu}} - \ partial _ {\ tilde {\ mu}} F (s, {\ tilde {\ mu}}) }$

${\ displaystyle S = \ int dt \, F ({\ tilde {s}} (t), {\ tilde {\ mu}} (t))}$

Prova : a autoconsistência requer que o movimento da média seja a média do movimento e (pelo lema fundamental do cálculo variacional )

${\ displaystyle {\ dot {\ tilde {\ mu}}} = D {\ tilde {\ mu}} \ Leftrightarrow \ parcial _ {\ tilde {\ mu}} F ({\ til {s}}, {\ til {\ mu}}) = 0 \ Leftrightarrow \ delta _ {\ tilde {\ mu}} S = 0}$

Simplificando, pequenas perturbações no caminho da média não alteram a energia livre variacional e tem a menor ação de todos os caminhos (locais) possíveis.

Observações : Heuristicamente, a filtragem generalizada realiza uma descida gradiente na energia livre variacional em um referencial móvel:, onde o próprio referencial minimiza a energia livre variacional. Para um exemplo relacionado em física estatística, veja Kerr e Graham que usam dinâmica de conjunto em coordenadas generalizadas para fornecer uma versão generalizada de espaço de fase de Langevin e equações de Fokker-Planck associadas. ${\ displaystyle {\ dot {\ tilde {\ mu}}} - D {\ tilde {\ mu}} = - \ partial _ {\ tilde {\ mu}} F (s, {\ tilde {\ mu}} )}$

Na prática, a filtragem generalizada usa linearização local em intervalos para recuperar atualizações discretas ${\ displaystyle \ Delta t}$

${\ displaystyle {\ begin {alinhados} \ Delta {\ tilde {\ mu}} & = (\ exp (\ Delta t \ cdot J) -I) J ^ {- 1} {\ dot {\ tilde {\ mu }}} \\ J & = \ partial _ {\ tilde {\ mu}} {\ dot {\ tilde {\ mu}}} = D- \ partial _ {{\ tilde {\ mu}} {\ tilde {\ mu}}} F ({\ tilde {s}}, {\ tilde {\ mu}}) \ end {alinhado}}}$

Isso atualiza as médias das variáveis ​​ocultas em cada intervalo (geralmente o intervalo entre as observações).

Modelos generativos (espaço de estado) em coordenadas generalizadas

Normalmente, a densidade ou modelo generativo é especificado em termos de um modelo não linear de entrada-estado-saída com funções não lineares contínuas:

${\ displaystyle {\ begin {alinhados} s & = g (x, u) + \ omega _ {s} \\ {\ dot {x}} & = f (x, u) + \ omega _ {x} \ end {alinhado}}}$

O modelo generalizado correspondente (sob suposições de linearidade local) obtém a regra da cadeia

${\ displaystyle {\ begin {align} {\ tilde {s}} & = {\ tilde {g}} ({\ tilde {x}}, {\ tilde {u}}) + {\ tilde {\ omega} } _ {s} \\\\ s & = g (x, u) + \ omega _ {s} \\ s '& = \ parcial _ {x} g \ cdot x' + \ parcial _ {u} g \ cdot u '+ \ omega' _ {s} \\ s '' & = \ parcial _ {x} g \ cdot x '' + \ parcial _ {u} g \ cdot u '' + \ omega '' _ { s} \\ & \ vdots \\\ end {alinhados}} \ qquad {\ begin {alinhados} {\ dot {\ tilde {x}}} & = {\ tilde {f}} ({\ tilde {x} }, {\ tilde {u}}) + {\ tilde {\ omega}} _ {x} \\\\ {\ ponto {x}} & = f (x, u) + \ omega _ {x} \ \ {\ dot {x}} '& = \ partial _ {x} f \ cdot x' + \ partial _ {u} f \ cdot u '+ \ omega' _ {x} \\ {\ dot {x} } '' & = \ parcial _ {x} f \ cdot x '' + \ parcial _ {u} f \ cdot u '' + \ omega '' _ {x} \\ & \ vdots \ end {alinhado}} }$

As suposições gaussianas sobre as flutuações aleatórias então prescrevem a probabilidade e os antecedentes empíricos sobre o movimento dos estados ocultos ${\ displaystyle \ omega}$

${\ displaystyle {\ begin {alinhados} p \ left ({\ tilde {s}}, {\ tilde {x}}, {\ tilde {u}} \ vert m \ right) & = p \ left ({\ til {s}} \ vert {\ tilde {x}}, {\ tilde {u}}, m \ right) p \ left ({D {\ tilde {x}} \ vert x, {\ tilde {u} }, m} \ right) p (x \ vert m) p ({\ tilde {u}} \ vert m) \\ p \ left ({\ tilde {s}} \ vert {\ tilde {x}}, {\ tilde {u}}, m \ right) & = {\ mathcal {N}} ({\ tilde {g}} ({\ tilde {x}}, {\ tilde {u}}), {\ tilde {\ Sigma}} ({\ tilde {x}}, {\ til {u}}) _ {s}) \\ p \ left ({D {\ tilde {x}} \ vert x, {\ tilde { u}}, m} \ right) & = {\ mathcal {N}} ({\ tilde {f}} ({\ tilde {x}}, {\ tilde {u}}), {\ tilde {\ Sigma }} ({\ tilde {x}}, {\ tilde {u}}) _ {x}) \\\ end {alinhado}}}$

As covariâncias fatoram em uma covariância entre variáveis ​​e correlações entre flutuações generalizadas que codificam sua autocorrelação : ${\ displaystyle {\ tilde {\ Sigma}} = V \ otimes \ Sigma}$${\ displaystyle V}$

${\ displaystyle V = {\ begin {bmatrix} 1 & 0 & {\ ddot {\ rho}} (0) & \ cdots \\ 0 & - {\ ddot {\ rho}} (0) & 0 \ & \ \\ {\ ddot {\ rho}} (0) \ & 0 \ & {\ ddot {\ ddot {\ rho}}} (0) \ & \ \\\ vdots \ & \ & \ & \ ddots \ \\\ end {bmatrix} }}$

Aqui, está a segunda derivada da função de autocorrelação avaliada em zero. Esta é uma medida onipresente de rugosidade na teoria dos processos estocásticos . Crucialmente, a precisão (variância inversa) das derivadas de ordem alta cai para zero com bastante rapidez, o que significa que só é necessário modelar o movimento generalizado de ordem relativamente baixa (geralmente entre dois e oito) para qualquer função de autocorrelação dada ou parametrizada. ${\ displaystyle {\ ddot {\ rho}} (0)}$

Casos especiais

Filtrando séries temporais discretas

Quando as séries temporais são observadas como uma sequência discreta de observações, a amostragem implícita é tratada como parte do processo generativo, onde (usando o teorema de Taylor ) ${\ displaystyle N}$

${\ displaystyle [s_ {1}, \ dots, s_ {N}] ^ {T} = (E \ otimes I) \ cdot {\ tilde {s}} (t): \ qquad E_ {ij} = {\ frac {(it) ^ {(j-1)}} {(j-1)!}}}$

Em princípio, toda a sequência poderia ser usada para estimar variáveis ​​ocultas em cada momento. No entanto, a precisão das amostras no passado e no futuro diminui rapidamente e pode ser ignorada. Isso permite que o esquema assimile dados online, usando observações locais em torno de cada ponto no tempo (normalmente entre dois e oito).

Filtragem generalizada e parâmetros de modelo

Para quaisquer parâmetros de modelo de variação lenta das equações de movimento ou filtragem generalizada de precisão assume a seguinte forma (onde corresponde à média variacional dos parâmetros) ${\ displaystyle f (x, u, \ theta)}$${\ displaystyle {\ tilde {\ Pi}} (x, u, \ theta)}$${\ displaystyle \ mu}$

${\ displaystyle {\ begin {align} {\ dot {\ mu}} & = \ mu '\\ {\ dot {\ mu'}} & = - \ partial _ {\ mu} F ({\ tilde {s }}, \ mu) - \ kappa \ mu '\ end {alinhado}}}$

Aqui, a solução minimiza a energia livre variacional, quando o movimento da média é pequeno. Isso pode ser visto observando . É simples mostrar que essa solução corresponde a uma atualização clássica de Newton . ${\ displaystyle {\ dot {\ tilde {\ mu}}} = 0}$${\ displaystyle {\ dot {\ mu}} = {\ dot {\ mu}} '= 0 \ Rightarrow \ partial _ {\ mu} F = 0 \ Rightarrow \ delta _ {\ mu} S = 0}$

Relação com filtragem bayesiana e codificação preditiva

Filtragem generalizada e filtragem Kalman

A filtragem clássica sob suposições markovianas ou de Wiener é equivalente a supor que a precisão do movimento das flutuações aleatórias é zero. Neste caso limite, basta considerar os estados e sua primeira derivada . Isso significa que a filtragem generalizada assume a forma de um filtro Kalman-Bucy, com termos de previsão e correção: ${\ displaystyle {\ tilde {\ mu}} = (\ mu, {\ mu} ')}$

${\ displaystyle {\ begin {align} {\ dot {\ mu}} & = \ mu '- \ partial _ {\ mu} F (s, {\ tilde {\ mu}}) \\ {\ dot {\ mu '}} & = - \ parcial _ {\ mu'} F (s, {\ tilde {\ mu}}) \ end {alinhado}}}$

Substituir essa filtragem de primeira ordem no esquema de atualização discreta acima fornece o equivalente à filtragem de Kalman (estendida).

Filtragem generalizada e filtragem de partículas

A filtragem de partículas é um esquema baseado em amostragem que relaxa as suposições sobre a forma da densidade variacional ou posterior aproximada. O esquema de filtragem generalizado correspondente é chamado de filtragem variacional . Na filtragem variacional, um conjunto de partículas se difunde sobre a paisagem de energia livre em um quadro de referência que se move com o movimento esperado (generalizado) do conjunto. Isso fornece um esquema relativamente simples que evita as suposições gaussianas (unimodais). Ao contrário da filtragem de partículas, ela não requer densidades de proposta - ou a eliminação ou criação de partículas.

Filtragem generalizada e Bayes variacional

Bayes variacional baseia-se em uma partição de campo média da densidade variacional:

${\ displaystyle q ({\ tilde {x}}, {\ tilde {u}}, \ theta \ dots \ vert {\ tilde {\ mu}}, \ mu) = q ({\ tilde {x}}, {\ tilde {u}} \ vert {\ tilde {\ mu}}) q (\ theta \ vert \ mu) \ dots}$

Essa partição induz uma atualização variacional ou etapa para cada densidade marginal - que geralmente é resolvida analiticamente usando antecedentes conjugados. Na filtragem generalizada, isso leva à maximização da expectativa dinâmica . que compreende uma etapa D que otimiza as estatísticas suficientes de estados desconhecidos, uma etapa E para parâmetros e uma etapa M para precisões.

Filtragem generalizada e codificação preditiva

A filtragem generalizada é geralmente usada para inverter modelos hierárquicos da seguinte forma

${\ displaystyle {\ begin {align} {\ tilde {s}} & = {\ tilde {g}} ^ {1} ({\ tilde {x}} ^ {1}, {\ tilde {u}} ^ {(1)}) + {\ tilde {\ omega}} _ {s} ^ {(1)} \\ {\ dot {\ tilde {x}}} ^ {(1)} & = {\ tilde { f}} ^ {(1)} ({\ tilde {x}} ^ {(1)}, {\ tilde {u}} ^ {(1)}) + {\ tilde {\ omega}} _ {x } ^ {(1)} \\\ vdots \\ {\ tilde {u}} ^ {(i-1)} & = {\ tilde {g}} ^ {(i)} ({\ tilde {x} } ^ {(i)}, {\ tilde {u}} ^ {(i)}) + {\ tilde {\ omega}} _ {u} ^ {(i)} \\ {\ dot {\ tilde { x}}} ^ {(i)} & = {\ tilde {f}} ^ {(i)} ({\ til {x}} ^ {(i)}, {\ tilde {u}} ^ {( i)}) + {\ tilde {\ omega}} _ {x} ^ {(i)} \\\ vdots \ end {alinhados}}}$

A descida gradiente generalizada resultante na energia livre pode então ser expressa de forma compacta em termos de erros de previsão, onde (omitindo termos de alta ordem):

${\ displaystyle {\ begin {align} {\ dot {\ tilde {\ mu}}} _ {u} ^ {(i)} & = D {\ tilde {\ mu}} ^ {(u, i)} - \ parcial _ {u} {\ tilde {\ varepsilon}} ^ {(i)} \ cdot \ Pi ^ {(i)} {\ tilde {\ varepsilon}} ^ {(i)} - \ Pi ^ { (i + 1)} {\ tilde {\ varepsilon}} _ {u} ^ {(i + 1)} \\ {\ dot {\ tilde {\ mu}}} _ {x} ^ {(i)} & = D {\ tilde {\ mu}} ^ {(x, i)} - \ parcial _ {x} {\ tilde {\ varepsilon}} ^ {(i)} \ cdot \ Pi ^ {(i)} {\ tilde {\ varepsilon}} ^ {(i)} \\\\ {\ tilde {\ varepsilon}} _ {u} ^ {(i)} & = {\ tilde {\ mu}} _ {u} ^ {(i-1)} - {\ tilde {g}} ^ {(i)} \\ {\ tilde {\ varejpsilon}} _ {x} ^ {(i)} & = D {\ til {\ mu}} _ {x} ^ {(i)} - {\ tilde {f}} ^ {(i)} \ end {alinhado}}}$

Aqui, está a precisão das flutuações aleatórias no i- ésimo nível. Isso é conhecido como codificação preditiva generalizada [11], com a codificação preditiva linear como um caso especial. ${\ displaystyle \ Pi ^ {(i)}}$

Formulários

A filtragem generalizada foi aplicada principalmente a séries temporais biológicas - em particular imagens de ressonância magnética funcional e dados eletrofisiológicos. Isso geralmente ocorre no contexto da modelagem causal dinâmica para fazer inferências sobre as arquiteturas subjacentes dos sistemas (neuronais) que geram dados. Também é usado para simular inferência em termos de codificação preditiva generalizada (hierárquica) no cérebro.

Veja também

• Rede Bayesiana Dinâmica
• Filtro de Kalman
• Codificação preditiva linear
• Controle ótimo
• Filtro de partícula
• Estimativa Bayesiana Recursiva
• Identificação do sistema
• Métodos Bayesianos Variacionais

Referências

links externos

• demonstrações de software e aplicativos estão disponíveis como freeware acadêmico (como código Matlab) na caixa de ferramentas DEM do SPM
• papers coleção de papéis técnicos e de aplicação