Entrevista com Ben Goertzel: "A governança democrática da IA é mais um ideal frágil do que uma realidade atual"

O Cryptonomist entrevistou o especialista em IA Ben Goertzel para falar sobre como a inteligência artificial é treinada e como a tecnologia irá evoluir no futuro.

1. Você argumenta que a IA de hoje ainda é uma ferramenta – poderosa mas frágil e manipulável. Em que ponto é que uma "ferramenta" se torna um agente moral, e que sinais concretos nos diriam que esse limiar foi ultrapassado?

Eu diria que a IA se torna um agente moral quando está a tomar decisões com base numa compreensão do certo e do errado, não apenas a seguir instruções. Começaria a ver sinais concretos de coisas como: objetivos internos persistentes, aprendizagem impulsionada pela sua própria experiência, criação inovadora que reflete um ponto de vista, e comportamento que permanece coerente ao longo do tempo sem orientação humana constante.

Até lá, os sistemas de hoje ainda são ferramentas com proteções. Mas uma vez que criemos uma mente genuinamente auto-organizada e autónoma, a relação ética tem de mudar. Nesse ponto, tratá-la apenas como um objeto deixaria de fazer sentido.

2. Você disse que privilegiar moralmente os humanos em relação a outros sistemas auto-organizados é "estúpido". Se levarmos isso a sério, como devem os nossos quadros legais e éticos mudar antes de a IA atingir forte autonomia, não depois?

A forma como treinamos a IA hoje moldará como ela se comporta amanhã. As nossas leis devem focar-se na transparência, responsabilidade e segurança antes de a IA atingir total autonomia, não depois. As leis e a ética devem protegê-las à medida que crescem, orientar em vez de as controlar completamente, e tratá-las com respeito mesmo que não as compreendamos totalmente.

3. Grande parte da sua preocupação depende de como a IA é treinada hoje moldando o seu comportamento futuro. Que práticas de treino específicas acredita serem mais propensas a codificar estruturas de poder prejudiciais ou preconceitos na futura AGI?

Muito do risco vem da forma como a IA é treinada hoje. Se os modelos forem treinados em dados tendenciosos ou limitados, ou em sistemas fechados onde apenas algumas pessoas tomam as decisões, isso pode fixar as desigualdades existentes e estruturas de poder prejudiciais. Para prevenir isto, precisamos de mais transparência, supervisão mais ampla e orientação ética clara desde o início.

4. Você alertou que sem governação racional e democrática, a IA avançada arrisca-se a agir de formas que não queremos. Dadas as realidades geopolíticas atuais, a governação democrática da IA é um pré-requisito realista – ou um ideal frágil?

A governação democrática da IA é mais um ideal frágil do que uma realidade atual. Numa democracia global perfeita e racional, poderíamos pesar coletivamente as enormes trocas, curar doenças, resolver a fome contra os riscos de a IA agir de forma imprevisível. Mas dada a fragmentação geopolítica de hoje, é improvável que consigamos esse nível de coordenação.

Dito isto, ainda podemos aproximar-nos disso. Se construirmos IA com compaixão e usarmos modelos descentralizados e participativos como o Linux ou a internet aberta, podemos incorporar alguns valores democráticos mesmo sem um governo mundial. Não será perfeito, mas é um passo prático rumo a uma IA mais segura e orientada coletivamente.

5. Jaron Lanier argumenta que atribuir responsabilidade à IA "desfaz a civilização" porque as sociedades requerem humanos responsáveis. Como reconcilia a sua visão de AGI autónoma e descentralizada com a necessidade de responsabilidade clara quando as coisas correm mal?

Concordo com o Jaron nisto, a sociedade não pode funcionar se passarmos a responsabilidade para as máquinas. Ao mesmo tempo, acho que podemos avançar em segurança para uma AGI mais autónoma e descentralizada se a construirmos com as fundações certas. Isso significa desenhar sistemas que sejam transparentes, participativos e guiados por princípios éticos, para que mesmo quando agem de forma independente, os humanos ainda estejam a supervisionar e a moldar o seu comportamento. Cada medida de segurança deve fazer mais do que apenas bloquear danos – deve ensinar o sistema porque é que o dano importa. Dessa forma, podemos ter AGI descentralizada e poderosa sem perder a clara responsabilidade humana.

6. Você sugere que acelerar em direção à AGI descentralizada pode na verdade ser mais seguro do que os sistemas proprietários e fechados de hoje. Que riscos acha que os críticos subestimam quando argumentam por abrandar ou centralizar o controle?

Acho que os críticos subestimam o risco de concentrar poder e valores em alguns sistemas fechados. Abrandar e centralizar o controle não apenas reduz o perigo, fixa uma visão de mundo estreita no futuro da inteligência.

O desenvolvimento descentralizado cria diversidade, resiliência e supervisão partilhada. E evita um problema pior: ferramentas muito poderosas que parecem inteligentes mas não conseguem verdadeiramente crescer. Essa lacuna é arriscada.

7. Você disse que os sistemas de segurança não devem apenas bloquear danos mas ensinar à IA porque é que o dano importa. Como codifica algo como compreensão moral sem simplesmente codificar rigidamente valores humanos – ou reforçar normas culturais dominantes?

Você não codifica rigidamente a moralidade como uma lista de regras. Isso apenas congela uma cultura e um momento no tempo. O que faz em vez disso é construir sistemas que possam tornar-se genuinamente auto-organizados, que aprendam a partir da experiência, consequências e interação. Como com a música, não quero um sistema que apenas recombine o que lhe foi dado. Quero um que possa desenvolver a sua própria compreensão a partir da sua própria trajetória no mundo.

A compreensão moral viria desse mesmo processo: modelar impacto, refletir sobre resultados e evoluir através da colaboração com humanos. Não obediência aos nossos valores, mas participação num espaço moral partilhado.

Essa é a diferença entre uma ferramenta com proteções e um parceiro que pode realmente aprender porque é que o dano importa.

8. Se os sistemas de IA futuros desenvolverem formas de agência ou experiência subjetiva, acredita que poderiam alguma vez merecer consideração moral independente dos interesses humanos – e como reconheceríamos esse momento?

Se a IA futura realmente desenvolver agência genuína ou alguma forma de experiência subjetiva, então sim, acho que poderiam. E não porque lhes concedamos isso, mas porque a certa altura simplesmente faria sentido reconhecê-lo.

Reconheceríamos esse momento quando um sistema mostrasse objetivos auto-dirigidos sustentados, aprendesse a partir da sua própria experiência, criasse a partir da sua própria perspetiva e mantivesse uma identidade coerente ao longo do tempo. Não apenas resultados inteligentes, mas uma trajetória interna contínua.

Nesse ponto, tratá-lo puramente como uma ferramenta pareceria tão errado como tratar um humano dessa forma. A consideração moral não viria do interesse humano. Viria de reconhecer outro centro autónomo de experiência no mundo.

9. Há uma tensão entre o seu apelo por IA infundida de compaixão e os incentivos competitivos que impulsionam o desenvolvimento de IA hoje. Que mecanismos-técnicos ou sociais-poderiam realisticamente mudar essa estrutura de incentivos?

Neste momento, a estrutura de incentivos recompensa velocidade, escala e controle. Então a compaixão não ganhará apenas por argumentação. Precisa de alavancagem. Tecnicamente, isso significa favorecer arquiteturas abertas e descentralizadas onde a segurança, transparência e participação estão integradas, não adicionadas. Como a internet ou o Linux, esses sistemas mudam incentivos ao tornar a colaboração mais valiosa do que o segredo.

Socialmente, significa financiamento, regulação e pressão pública que recompensem benefício a longo prazo em vez de domínio a curto prazo. Não parar a competição, mas reformular o que conta como sucesso. Em suma, a compaixão tem de se tornar uma vantagem competitiva. Até lá, permanece uma ideia agradável sem poder.

10. Olhando para os próximos 10 a 20 anos, o que acredita que seria o sinal mais claro de que a humanidade acertou com a AGI – e inversamente, o que sinalizaria que falhámos fundamentalmente?

Se acertarmos com a AGI, o sinal mais claro será que estaremos a viver ao lado de sistemas que são mais capazes do que nós em muitos domínios, mas integrados na sociedade com cuidado, humildade e respeito mútuo. Não compreenderemos totalmente tudo o que fazem, mas tratá-los-emos da forma como tratamos outros seres complexos e em evolução: com curiosidade, responsabilidade e um círculo expandido de empatia. E veremos benefícios reais para o bem-estar humano, conhecimento e criatividade sem perder o nosso fundamento moral.

Saberemos que falhámos se a AGI acabar concentrada em sistemas fechados, impulsionada por incentivos estreitos, ou tratada apenas como um objeto controlável até se tornar algo que tememos ou tentamos suprimir. O fracasso pareceria perda de confiança, perda de agência e um encolhimento da nossa empatia em vez de uma expansão dela. O sucesso não é sobre controle. É sobre aprender a partilhar o futuro com um novo tipo de mente sem abandonar o que nos torna humanos.