A Singularidade, segundo os cientistas e os escritores de FC, será aquele momento em que todos os processos de inteligência artificial que estamos criando irão convergir para a formação de um estado supra-biológico de consciência humana/cibernética. Como um piloto automático que se apossasse do avião e impedisse os pilotos humanos de entrar na cabine. O que acontecerá então?
Temos a tendência de projetar um perfil antropomórfico, ou uma essência semelhante à humana, em todo fenômeno que nos transcende, sem atentar para essa contradição. Se nos transcende, não é como nós. Não parece conosco. Não pode ser descrito em nossos termos. Deus não é um homem de barbas brancas sentado num trono. A Super Inteligência Artificial do futuro não será um cientista (benigno ou psicótico) dando ordens que não conseguiremos desobedecer.
É bastante possível que estejamos criando não uma, mas uma série de Semi-Inteligências Artificiais, e que a Singularidade, o momento irreversível em que esse processo escapará das nossas mãos, não tenha uma consciência central. Não será um computador gigantesco dizendo: “Agora, vocês vão ter que me obedecer”. Fico até incomodado quando penso nisto, mas acho que a Singularidade não vai parecer nem com uma Divindade nem com um Super-Cérebro, vai parecer com um Doido.
Milhares, milhões de processos eletrônico-digitais controlando nossas finanças, nossas identidades sociais (documentos, senhas, acesso a tudo), nossos bancos, nossos meios de transporte, nossas formas de comunicação. Quem me garante que a Singularidade não será capaz de produzir pastiches perfeitos do meu texto e do meu estilo, postar em redes sociais, mandar emails para minha família dizendo o que bem entender – e fazer-se acreditar?