Parser combinator - Parser combinator

Em programação de computador , um combinador de analisador é uma função de ordem superior que aceita vários analisadores como entrada e retorna um novo analisador como sua saída. Nesse contexto, um analisador é uma função que aceita strings como entrada e retorna alguma estrutura como saída, normalmente uma árvore de análise ou um conjunto de índices que representam locais na string onde a análise foi interrompida com êxito. Os combinadores de analisador permitem uma estratégia de análise descendente recursiva que facilita a construção e teste modular por partes. Essa técnica de análise é chamada de análise combinatória .

Analisadores que usam combinadores têm sido usados ​​extensivamente na prototipagem de compiladores e processadores para linguagens de domínio específico , como interfaces de linguagem natural para bancos de dados, onde ações semânticas complexas e variadas estão intimamente integradas ao processamento sintático. Em 1989, Richard Frost e John Launchbury demonstraram o uso de combinadores de analisador para construir intérpretes de linguagem natural . Graham Hutton também usou funções de ordem superior para análise básica em 1992. SD Swierstra também exibiu os aspectos práticos dos combinadores de analisador em 2001. Em 2008, Frost, Hafiz e Callaghan descreveram um conjunto de combinadores de analisador em Haskell que resolvem o problema de longa data de acomodar a recursão à esquerda e funcionar como uma ferramenta de análise completa de cima para baixo em tempo e espaço polinomial.

Ideia básica

Em qualquer linguagem de programação que tenha funções de primeira classe , os combinadores de analisador podem ser usados ​​para combinar analisadores básicos para construir analisadores para regras mais complexas. Por exemplo, uma regra de produção de uma gramática livre de contexto (CFG) pode ter uma ou mais alternativas e cada alternativa pode consistir em uma sequência de não terminal (s) e / ou terminal (es), ou a alternativa pode consistir em um único não terminal ou terminal ou a string vazia. Se um analisador simples estiver disponível para cada uma dessas alternativas, um combinador de analisador pode ser usado para combinar cada um desses analisadores, retornando um novo analisador que pode reconhecer qualquer uma ou todas as alternativas.

Em linguagens que suportam sobrecarga de operador , um combinador de analisador pode assumir a forma de um operador infixo , usado para colar diferentes analisadores para formar uma regra completa. Os combinadores de analisador permitem, portanto, que os analisadores sejam definidos em um estilo embutido, em código que é semelhante em estrutura às regras da gramática formal. Como tal, as implementações podem ser consideradas especificações executáveis ​​com todas as vantagens associadas. (Notavelmente: legibilidade)

Os combinadores

Para manter a discussão relativamente direta, discutimos combinadores de analisador em termos de reconhecedores apenas. Se a string de entrada for longa #inpute seus membros forem acessados ​​por meio de um índice j, um reconhecedor é um analisador que retorna, como saída, um conjunto de índices que representam as posições nas quais o analisador concluiu com sucesso o reconhecimento de uma sequência de tokens que começou na posição j. Um conjunto de resultados vazio indica que o reconhecedor falhou em reconhecer qualquer sequência começando no índice j. Um conjunto de resultados não vazio indica que o reconhecedor termina em posições diferentes com sucesso.

• O emptyreconhecedor reconhece a string vazia. Este analisador sempre é bem-sucedido, retornando um conjunto de singleton contendo a posição atual:

${\ displaystyle vazio (j) = \ {j \}}$

• Um reconhecedor reconhece o terminal . Se o token na posição na string de entrada for , este analisador retornará um conjunto de singleton contendo ; caso contrário, ele retorna o conjunto vazio.term xxjxj + 1

${\ displaystyle term (x, j) = {\ begin {cases} \ left \ {\ right \}, & j \ geq \ #input \\\ left \ {j + 1 \ right \}, & j ^ {th} {\ mbox {elemento de}} input = x \\\ left \ {\ right \}, & {\ mbox {caso contrário}} \ end {cases}}}$

Observe que pode haver várias maneiras distintas de analisar uma string ao terminar no mesmo índice: isso indica uma gramática ambígua . Os reconhecedores simples não reconhecem essas ambigüidades; cada índice de acabamento possível é listado apenas uma vez no conjunto de resultados. Para um conjunto de resultados mais completo, um objeto mais complicado, como uma árvore de análise, deve ser retornado.

Seguindo as definições de dois reconhecedores básicos pe q, podemos definir dois combinadores de analisador principal para alternativa e sequenciamento:

• O combinador de analisador 'alternativo', ⊕, aplica ambos os reconhecedores na mesma posição de entrada je soma os resultados retornados por ambos os reconhecedores, que eventualmente são retornados como o resultado final. É usado como um operador infixo entre pe da qseguinte forma:

${\ displaystyle (p \ oplus q) (j) = p (j) \ xícara q (j)}$

• O sequenciamento dos reconhecedores é feito com o combinador do analisador ⊛. Como ⊕, é usado como um operador infixo entre pe q. Mas ele aplica o primeiro reconhecedor pà posição de entrada je, se houver algum resultado bem-sucedido dessa aplicação, o segundo reconhecedor qé aplicado a cada elemento do conjunto de resultados retornado pelo primeiro reconhecedor. ⊛ em última análise, retorna a união dessas aplicações de q.

${\ displaystyle (p \ circledast q) (j) = \ bigcup \ {q (k): k \ in p (j) \}}$

Exemplos

Considere um altamente ambígua gramática livre de contexto , s ::= ‘x’ s s | ε. Usando os combinadores definidos anteriormente, podemos definir modularmente as notações executáveis ​​dessa gramática em uma linguagem funcional moderna (por exemplo, Haskell ) como s = term ‘x’ <*> s <*> s <+> empty. Quando o reconhecedor sé aplicado a uma sequência de entrada xxxxxna posição 1, de acordo com as definições acima, ele retornaria um conjunto de resultados {5,4,3,2}.

Deficiências e soluções

Combinadores analisador, como todos os analisador sintático descendente recursivo , não se limitam às gramáticas livres de contexto e, portanto, não fazem pesquisa global para ambiguidades na LL ( k ) parsing Primeira _k e siga _k conjuntos. Assim, as ambigüidades não são conhecidas até o tempo de execução se e até que a entrada as dispare. Nesses casos, o analisador descendente recursivo pode usar como padrão (talvez desconhecido para o designer da gramática) um dos possíveis caminhos ambíguos, resultando em confusão semântica (aliasing) no uso da linguagem. Isso leva a bugs por usuários de linguagens de programação ambíguas, que não são relatadas em tempo de compilação e que são introduzidas não por erro humano, mas por gramática ambígua. A única solução que elimina esses bugs é remover as ambigüidades e usar uma gramática livre de contexto.

As implementações simples de combinadores de analisador têm algumas deficiências, que são comuns na análise de cima para baixo. A análise combinatória ingênua requer tempo e espaço exponencial ao analisar uma gramática livre de contexto ambígua. Em 1996, Frost e Szydlowski demonstraram como a memoização pode ser usada com combinadores de analisador para reduzir a complexidade do tempo para polinômios. Mais tarde, Frost usou mônadas para construir os combinadores para o encadeamento sistemático e correto da tabela de memorandos ao longo do cálculo.

Como qualquer análise sintática descendente recursiva de cima para baixo , os combinadores de analisadores convencionais (como os combinadores descritos acima) não terminarão durante o processamento de uma gramática recursiva à esquerda (por exemplo s ::= s <*> term ‘x’|empty). Um algoritmo de reconhecimento que acomoda gramáticas ambíguas com regras recursivas à esquerda diretas é descrito por Frost e Hafiz em 2006. O algoritmo restringe a análise recursiva à esquerda sempre crescente, impondo restrições de profundidade. Esse algoritmo foi estendido a um algoritmo de análise completa para acomodar recursão à esquerda indireta e direta em tempo polinomial e para gerar representações compactas de tamanho polinomial do número potencialmente exponencial de árvores de análise para gramáticas altamente ambíguas de Frost, Hafiz e Callaghan em 2007. Este algoritmo estendido acomoda recursão esquerda indireta comparando seu 'contexto computado' com o 'contexto atual'. Os mesmos autores também descreveram a implementação de um conjunto de combinadores de analisadores escritos na linguagem de programação Haskell com base no mesmo algoritmo.

Notas

Referências

links externos

• analisador-combinador : implementação do combinador analisador Lisp comum
• Parsec : força industrial, biblioteca combinadora de analisador monádico para Haskell
• parsec : versão Go do Parsec
• FParsec : adaptação F # do Parsec
• csharp-monad : porta C # de Parsec
• Jparsec : porta Java do Parsec
• Arcsecond : biblioteca combinadora de analisador monádico compatível com JavaScript fantasy-land
• Implementação do combinador do analisador Ramble : R
• nom : Implementação do combinador do analisador Rust usando cópia zero.
• pyparsing : implementação do combinador do analisador Python , embora não se chame assim em sua documentação.
• ts-parsec : biblioteca combinadora de analisador TypeScript
• Diesel : biblioteca combinadora de analisador Swift