Por que o crescimento das redes neurais muda o seu comportamento: físico compara IA com leis de sistemas complexos.

As redes neuronais ganham novas propriedades graças à especialização dos nós, enquanto, nos sistemas físicos, a informação permanece redundante

A perspetiva «Mais é Diferente», formulada pelo físico Philip Anderson em 1972, defende que as propriedades dos sistemas complexos não podem ser deduzidas diretamente das leis que descrevem os seus componentes elementares. Num novo trabalho, o professor Ido Kanter, da Universidade Bar-Ilan, em Israel, testou de que forma esta ideia se manifesta nos sistemas modernos de inteligência artificial e comparou-os com sistemas físicos.

O estudo analisa o comportamento de modelos de redes neuronais sob o prisma da teoria da informação. No centro da análise estão os elementos internos do modelo, chamados nós, e a sua contribuição para a execução da tarefa global. Kanter compara a forma como a informação se distribui nestes sistemas à medida que a sua escala aumenta.

O trabalho mostra que, à medida que uma rede neuronal é treinada, os seus nós deixam de desempenhar funções idênticas e começam a «especializar-se». Alguns nós passam a concentrar-se no reconhecimento de padrões específicos ou de particularidades linguísticas. Essa especialização conduz à distribuição de funções dentro do sistema e à formação de uma certa cooperação entre os elementos.

Segundo Kanter, «até mesmo um único nó dentro de um modelo linguístico pode conter informação significativa sobre a tarefa, mas, quando os nós trabalham em conjunto, as suas capacidades ultrapassam a soma das contribuições individuais». Ele descreve este comportamento como uma manifestação de emergência, correspondente ao princípio «mais é diferente».

No campo da física, de acordo com os resultados do trabalho, o quadro é outro. Em muitos sistemas físicos, os componentes individuais refletem a mesma informação sobre o estado do sistema que o conjunto dos componentes. A adição de novos elementos não aumenta o volume de informação sobre o sistema, o que Kanter descreve como «mais é o mesmo».

O autor também relaciona os resultados obtidos com a neurobiologia. Com base em dados experimentais sobre a aprendizagem dendrítica, um mecanismo de processamento de sinais nos neurónios, sugere que o cérebro biológico pode utilizar elementos mais especializados e mais ricos em informação do que se supunha.

O trabalho conclui que a eficiência dos sistemas de inteligência artificial depende não só da sua escala, mas também da capacidade dos componentes internos para se especializarem e interagirem. Esta abordagem permite descrever quantitativamente a diferença entre sistemas físicos e artificiais e clarifica o papel das propriedades emergentes na formação da inteligência.