Uma Discussão acerca das Contribuições de Alan Turing à Área de Redes Neurais Artificiais – Parte II: Desorganização Revisitada Levy Boccato 1 , Everton Schumacker Soares 1 , Marcos Maurício Lombardi Pellini Fernandes 2 , Diogo Coutinho Soriano 1 , Romis Attux 1 1 - Departamento de Engenharia de Computação e Automação Industrial (DCA) Faculdade de Engenharia Elétrica e de Computação (FEEC) Universidade Estadual de Campinas (Unicamp) Av. Albert Einstein, 400, CEP 13083-852 – Campinas, SP, Brasil 2 - Faculdade de Engenharia de Sorocaba (FACENS) Rodovia Senador José Ermírio de Moraes, 1425, CEP 18087-125 - Sorocaba, SP, Brasil {lboccato, eschumas, soriano, attux}@dca.fee.unicamp.br mfernandes@facens.br Abstract – In this two-part work, we present an overview of the contributions of Alan Mathison Turing, whose centenary is celebrated in 2012, to the field of artificial neural networks. These contributions, which are gradually becoming more well- known thanks to the efforts of Copeland, Teuscher and others, are discussed in the first part, whereas, in the second part, we analyze the relationship between Turing’s ideas and two modern unorganized networks: echo state networks and extreme learning machines. Keywords – Neural networks, connectionism, Alan Turing, reservoir computing, extreme learning machines. In memoriam Alan Mathison Turing (1912-1954) 1. Introdução Na primeira parte deste trabalho, foram apresentadas as propostas de redes neurais apresentadas por Alan Turing num relatório técnico de 1948 [1], o qual, infelizmente, ainda não foi apreciado com a mesma amplitude de alguns de seus outros trabalhos. Nesta segunda parte, buscaremos estabelecer pontos de contato entre essas propostas e paradigmas modernos de redes “desorganizadas”. Esperamos, com isso, realizar um tributo à profundidade da visão de Turing acerca de soluções conexionistas em inteligência artificial, bem como apontar possíveis sinergias que podem levar a futuros caminhos de pesquisa. 2. Computação com Reservatórios e Redes Neurais com Estados de Eco Dentro do ramo de pesquisa conhecido como neurocomputação, as redes neurais recorrentes (em inglês, recurrent neural networks (RNNs)) atraem uma atenção especial pelo fato de serem capazes de aliar flexibilidade para criar uma ampla gama de mapeamentos não lineares a uma capacidade de memorizar e acessar o histórico temporal dos sinais de entrada graças à existência de laços de realimentação. Além disso, estas estruturas possuem capacidade de aproximação universal, como demonstrado em [2], e revelam uma interessante conexão com o conceito de máquina de Turing universal [3]. Entretanto, o uso efetivo destas poderosas ferramentas requer o ajuste de todos os seus pesos sinápticos, inclusive das conexões recorrentes, o que, no âmbito dos principais métodos de aprendizado supervisionado, traz à tona algumas dificuldades. Por exemplo, o cálculo do gradiente da função de erro torna-se uma tarefa computacionalmente custosa em virtude das recorrências. Adicionalmente, existe sempre a ameaça de que a RNN exiba um comportamento instável. Neste contexto, as redes neurais com estados de eco (em inglês, echo state networks (ESNs)), propostas por Jaeger [4] [5], e as liquid state machines (LSMs), propostas por Maass [6], oferecem uma solução criativa para este dilema e estabelecem um novo paradigma de treinamento para redes recorrentes, denominado computação com reservatório (em inglês, reservoir computing (RC)) [5] [7]. A arquitetura básica empregada em RC consiste de: (i) uma rede fortemente recorrente de unidades de processamento não lineares, denominada reservatório de dinâmicas (ou “líquido”, na nomenclatura usualmente empregada nas LSMs), capaz de armazenar informações relacionadas ao histórico dos sinais