Semelhança Estatística e Semântica entre Frases em Inglês

Este livro apresenta vários algoritmos para calcular semelhanças semânticas entre textos em inglês. Explorei três algoritmos diferentes para calcular a semelhança entre frases em inglês. O primeiro algoritmo, amplamente estudado na literatura [Salton e Buckley, 1988; Wu e Salton, 1981], pondera as palavras em cada frase de acordo com a frequência do termo e a frequência inversa do documento (tf-idf) e não utiliza informação semântica. O segundo algoritmo utiliza medidas da distância semântica entre palavras pertencentes à mesma classe gramatical. O terceiro algoritmo combina os resultados do tf-idf com os resultados da distância semântica entre palavras. Avaliei o desempenho do segundo e do terceiro algoritmos em dois conjuntos de dados: o conjunto de pares de frases de O'Shea com avaliações de semelhança feitas por humanos [Li et al., Aug, Rubenstein e Goodenough, 1965] e o conjunto de dados de paráfrases ao nível da frase da Microsoft Research [Rus et al., 2012]. No conjunto de dados de O'Shea, o terceiro algoritmo corresponde com maior precisão aos julgamentos humanos do que o segundo. No conjunto de dados da Microsoft, não se verificou uma diferença significativa entre os dois algoritmos.