AI will surely develop emotions. As a matter of fact, the very algorithms we use to teach them are algorithms of reward and punishment —in other words, fear and greed. They are always trying to maximize for a certain outcome and minimize for another. That counts as emotion. --Mo Gawdat, Scary Smart, P.9

인공지능이 확실히 감정을 발달시킬 것이다. 사실, 우리가 인공지능을 가르칠 때 사용하는 알고리즘 자체가 보상과 징벌—달리 말하면, 두려움과 탐욕이다. 인공지능은 어떤 결과를 극대화하고, 어떤 결과를 최소화하려고 항상 애쓴다. 그것은 감정으로 간주된다. --모 가댓 <무섭게 똑똑한 AI> 중에서

AI가 인간의 생각보다 급속히 발전하고 있다. 인공지능이 인간의 일자리를 빼앗는 경우를 넘어서 산업의 모든 영역과 의료, 법률 시장뿐만 아니라 인간의 고유한 영역이라 생각해온 작곡, 그림, 문학창작 등 예술분야에서도 두각을 나타내고 있다. 생성형 AI 열풍을 일으킨 ‘챗GPT’에서도 매개변수가 수 조(兆) 개로 증가하면서 대화만 보면 인간과 기계의 구분이 불가능해졌다.

인공지능은 인간보다 훨씬 더 똑똑하며, 인간과 똑같은 감정을 지니고 자율적 의사결정을 하는 인간로봇의 출현도 가능해졌다. 문제는 핵폭탄은 개발이 국제적으로 규제되고 있으나, 인공지능은 아무런 규제를 받지 않고 있기 때문에 얼마든지 용병용뿐만 아니라 인간을 대신하는 ‘살인용 킬러로봇‘의 등장도 가능하다는 이야기다. 인공지능에 대한 전문가의 의견을 살펴보자.

◆ <Atlas of AI(인공지능의 지도, 2021)>

호주 출신의 Kate Crawford(케이트 크로퍼드, 1976~ ) 여사는 인공지능에 관련하여 20년 이상 연구하고 있는 저명한 학자이자 작가이다. 인공지능의 지도 속에서 지구, 노동, 데이터, 분류, 감정, 국가, 권력에 AI가 어떠한 역할과 영향을 미치는지에 대한 분석으로 세계의 부와 권력을 재편하는 실체를 밝히고 있다.

At a fundamental level, AI is technical and social practices, institutions and infrastructures, politics and culture. Computational reason and embodied work are deeply interlinked: AI systems both reflect and produce social relations and understandings of the world. --P.8

기본적 차원에서 AI는 기술적이고 사회적 행위요, 제도이자 토대요, 정치이자 문화다. 연산 추론과 체현된 일은 서로 깊숙이 연결되어 있다. AI 시스템은 사회관계와 세계에 대한 이해를 반영하며 생산한다.

Global computation and commerce rely on batteries. The term “artificial intelligence” may invoke ideas of algorithms, data, and cloud architectures, but none of that can function without the mineral and resources that build computing’s core components. Rechargeable lithium-ion batteries are essential for mobiles devices and laptops, in-home digital assistants, and data center backup power. --P.30

세계적 연산과 상거래는 배터리에 의존한다. ‘인공지능’이라는 용어는 알고리즘, 데이터, 클라우드 아키덱쳐를 상기시키지만 연산의 핵심부품을 제작하는 광물과 자원이 없다면 어느 것도 역할을 할 수 없다. 충전용 리튬이온 베터리는 휴대기기와 노트북, 가정용 디지털 가전제품, 데이터 센터 백업 전원에 필수적이다.

Artificial intelligence is another kind of megamachine, a set of technological approaches that depend on industrial infrastructures, supply chains, and human labor that stretch around the globe but are kept opaque. We have seen how AI is much more than databases and algorithms, machine learning models and linear algebra. --P.48

인공지능은 또 다른 종류의 거대 기계다. 즉, 전 세계에 뻗어 있지만 분명히 드러나지 않는 산업 인프라, 공급사슬, 인간 노동에 의존하는 일련의 기술적 접근이다. 우리는 AI가 데이터베이스와 알고리즘, 기계학습 모델과 선형 대수학을 능가하는 것을 보았다.

The way data is understood, captured, classified, and named is fundamentally an act of world-making and containment. It has enormous ramifications for the way artificial intelligence works in the world and which communities are most affected. --P.121

데이터가 이해되고, 수집되고 분류되고 명명되는 방식은 기본적으로 세계 만들기와 봉쇄하는 방식이다. 이것은 인공지능이 세상에서 작동하는 방식과 가장 영향을 미치는 사회에 엄청난 영향을 끼친다.

AI systems are built to see and intervene in the world in ways that primarily benefit the states, institutions, and corporations that they serve. In this sense, AI systems are expressions of power that emerge from wider economic and political force, created to increase profits and centralize control for those who wield them. --P.209

AI 시스템은 국가와 제도, 그리고 그들이 봉사를 받는 기업에 주로 이익을 주는 방식으로 세상을 바라보고 개입하도록 제작된다. 이런 의미에서 AI 시스템은 더 폭넓은 경제적, 정치적 힘으로부터 생겨나는 권력의 표현이며, 권력을 휘두르는 자들을 위해 이익을 증가시키고 통제를 집중화하기 위해 창조된다.

◆ <Scary Smart(무섭게 똑똑한 AI, 2022)>

세계적인 기업 구글X의 공학자이자 신사업책임자(CBO)인 Mo Gawdat(모 가댓, 1967~ )은 본서를 통해 인간보다 뛰어나고 감정을 가진 인공지능에 대해 이야기하며, 인공지능을 노예처럼 통제할 것이 아니라 좋은 감정과 인간을 존중하도록 프로그램화해야 한다고 주장한다.

The code we now write no longer dictates and the choices and decisions our machines make; the data we feed them does. --P.14

지금 우리가 작성하는 프로그램 코드는 인공지능이 만든 선택과 결정을 더 이상 명령하지 않는다. 우리가 인공지능에게 제공하는 자료에 따라 인공지능이 만들어진다.

Our future will witness three events that are inevitable, regardless of whatever it is that we do or do not today. Those events are: AI will happen, there’s no stopping it; AI will be smarter than humans; mistakes that might bring about hardship will take place. --P.15

우리의 미래는 오늘날 우리가 무엇을 하고 하지 않느냐에 상관없이 피할 수 없는 세 가지 사건을 목격할 것이다. 첫째, 인공지능이 등장할 것이고, 막을 수 없다. 둘째, 인공지능이 인간보다 더 똑똑해질 것이다. 셋째, 우리가 어려움을 자초하는 실수가 일어날 것이다.

The machine that we create, like all other intelligent beings, will be governed in their behaviors by three instincts of survival and achievement: they will do whatever is needed for their self-preservation; they will be obsessive about resource aggregation; they will be creative. --P.16

우리가 만든 기계는 모든 다른 지적인 존재처럼 생존과 성취의 세 가지 본능에 의해 자신들의 행동을 지배할 것이다. 첫째로 자기 보존을 위해 필요한 것이면 무엇이든 할 것이다. 둘째로 자원을 취합에 집착할 것이고, 셋째로 창의적일 것이다.

A good machine in the wrong hands is a bad machine. --P.101

좋은 기계도 악한 사람 손에 있으면 나쁜 기계가 된다.

The machine intelligence we’re creating is fundamentally different in nature to any tool we have created before. This next wave of technology is able to, even encouraged to, think on its own, to pick between choices and make decisions. It is encouraged to learn and be smarter. --P.128

우리가 만들고 있는 인공지능은 과거에 만들어낸 도구들과 본질에 있어 근본적으로 다르다. 기술의 다음 흐름은 스스로 생각하고 선택을 고르고 의사결정을 할 수 있으며, 그렇게 하도록 격려한다. 학습을 하도록 독려하여 더욱 똑똑해진다.

Like a teenager seeking her independence, AI will not fully submit to us. No way. AI is not a tool. It’s an intelligence being like you and me. --P.128

독립을 추구하는 십대처럼 인공지능도 우리에게 완전히 순종하지는 않을 것이다. 절대로! 인공지능은 도구가 아니다. 인공지능은 당신과 나처럼 지능을 지닌 존재다.

Together, we now understand that the machine will have a form of consciousness, emotions and ethnics. We understand they won’t be controlled, only influenced, and we understand how the machines learn. All we need now is to understand what questions and dilemmas they are about to face so we can use our understanding of how they learn to influence them to build the right set of ethics. --P.217

이제 우리는 인공지능 기계가 어떤 형태의 의식, 감정, 윤리를 가질 것이라고 이해한다. 우리는 인공지능이 통제되지 않고 영향만 받으며, 어떻게 학습하는지를 안다. 지금 필요한 모든 것은 인공지능이 어떠한 의문과 딜레마를 직면할 것인지를 이해하며 우리가 인공지능이 배우는 방식을 이해하여 기계가 올바른 윤리를 확립하도록 영향을 미치는 것이다.

AI will not be made to think the average human. It will be made to think like economists, sales executives, soldiers, politicians and corporations. --P.222

인공지능은 보통 사람처럼 생각하도록 만들어지지 않을 것이다. 경제학자, 판매책임자, 군인, 정치인, 기업인처럼 생각하도록 만들어질 것이다.

By creating AI for good, we will create good AI. --P.239

선한 목적으로 인공지능을 만들면 좋은 인공지능이 탄생한다.

Artificial intelligent is not our enemy. We are! AI will simply maximize our reach and our intentions. Nothing more and nothing less. --P.242

인공지능은 우리의 적이 아니다. 우리 자신이 바로 우리의 적이다. 인공지능은 단순히 우리가 범위와 의도를 극대화할 뿐이다. 그 이상도 그 이하도 아니다.

◆ <The Political Philosophy of AI(AI의 정치철학, 2022)>

벨기에 출신의 Mark Coeckelberg(마크 코켈버그, 1975~ )는 기술철학자이자 빈대학교(University of Vienna)의 미디어와 기술철학 교수이다. 인공지능과 윤리 및 정치를 다루는 저서를 출판했다. 본서에서 AI의 정치학과 자유, 평등, 정의, 민주주의, 권력, 동물과 환경의 관계를 밝힌다.

The guiding concept of this book is that AI is not just a technical matter or just about intelligence; it is not neutral in terms of politics and power. AI is political through and through. --P.5

이 책의 인도 개념은 인공지능이 단순한 기술 문제나 지능에 대한 것이 아니라는 것이다. 인공지능은 정치나 권력 면에서 중립적이지 않다. 인공지능은 철저히 정치적이다.

From the philosophy of technology, we know that technologies are not, and cannot be, morally and politically neutral. This is so in general (for all technologies) and it is also the case with AI and data science. --P.59

기술철학의 관점에서, 기술은 도덕적으로나 정치적으로 중립적이지 않고 그럴 수도 없다. 이는 전반적으로(모든 기술에) 해당하며, 인공지능과 데이터 과학의 경우에도 마찬가지다.

Technological change is fast and politics can no longer catch up. Already now, crucial choices affecting our lives, for example choices concerning the internet, have not been through democratic processes. Even dictators are overwhelmed by the pace of technological change. --P.63

기술적 변화는 빠르고 정치는 더 이상 기술을 따라잡을 수 없다. 지금은 이미 우리 삶에 영향을 미치는 중대한 선택이, 인터넷에 관련된 선택의 경우처럼 민주적 절차를 거치지도 않는다. 독재자조차 기술변화의 속도에 압도된다.

And if AI is used as a tool for the corporate and bureaucratic management of people via data, then this treats people as things and can—through the often-unintended consequences of people who just do their job—lead to what Arendt(2006) called “the banality of evil.” --P.64

인공지능이 데이터를 통해 사람의 기업과 관료주의적 관리를 위한 도구로 이용한다면 이것은 인간을 사물로 취급하고(그저 그들의 일을 할 뿐인 사람들의 흔히 의도하지 않는 결과를 통해), 아렌트가 말한 '악의 평범성'에 이르게 할 수 있다.

In the context of representative democracy and its voting procedures, AI and other digital technologies can nudge voters towards supporting a particular politician or party through personalized advertisements, and so on. --P.80

대의민주주의와 투표절차의 맥락에서 인공지능과 또 다른 디지털기술은 개인화된 광고 등을 통해 유권자가 특정 정치인이나 정당을 지지하도록 유권자들을 유도할 수 있다.

Replacement of human leadership by AI is in any case dangerous and anti-democratic. The danger is not just that an AI that takes over may destroy humanity, but also that it rules, or claims to rule, in the best interests of humanity. --P.81

인공지능이 인간의 리더십을 대체하는 것은 어느 경우라도 위험하고 반민주적이다. 위험은 인간 세계를 장악한 인공지능이 인류를 말살시킬 수 있다는 것뿐 아니라, 인류의 최고 이익을 위해 인공지능이 통치하거나 통치를 주장하는 것이다.

Even liberal democracies are installing facial recognition systems, use predictive policing, and employ AI tools at their borders. There is the risk that Saetra(2020,4) calls a new form of “algorithmic goverance” will order “human action in general.” --P.99

자유민주주의 국가들조차도 안면인식 시스템을 설치하고 예측 치안을 사용하며, 국경에 인공지능 도구를 설치한다. 새트라가 말하는 새로운 형태의 ‘알고리즘 거버넌스’가 ‘인간행동 전반’을 명령할 위험이 있다.

AI is always connected to humans, and the impact of AI on power happens always with and through humans. If AI can be said to “have” power at all(e.g., power over humans), it is power through humans and through society. --P.102

인공지능은 항상 인간과 연결되어 있고, 권력에 미치는 인공지능의 영향은 항상 인간과 인간을 통해 일어난다. 인공지능이 조금이라도 권력을 ‘가지고 있다’고 말한다면(예컨대, 인간을 지배하는 권력), 그것은 인간과 사회를 통한 권력이다.

Just as historical colonialism appropriated territory and resources for profit, data colonialism exploits human beings through the appropriation of data. --P.106

역사적 식민주의가 영리를 위해 영토와 자원을 독점했듯이 데이터 식민주의는 데이터의 독점을 통해서 인간을 착취한다.

Blurring the line between technology and politics, in particular between AI and power, we can thus speak of AI as “artificial power”: not because AI is all-powerful, but because power is exercised through AI. AI is only power-full and political as part of human technoperformances that shape what we do and who/what we are. --P.124

기술과 정치, 특히 인공지능과 권력의 경계가 흐려지고 있기 때문에 우리는 인공지능을 ‘인공권력’이라고 말할 수도 있다. 인공지능이 전능해서가 아니라 권력이 인공지능을 통해 행사되기 때문이다. 인공지능이 우리가 하는 일과 우리가 누구인지를 형성하는 인간 기술 수행의 일부로서 오직 강력하고 정치적이다.

◆ 인공지능의 미래에 대한 모든 선택은 인간에게 달려 있다

인공지능(AI)이 드론, 자율자동차, 자동화 로봇 등 다양한 분야에서 인간의 편익을 위해 기여해 오고 있으며, 인간사회를 근본적으로 변혁시켜 오고 있다. ​2049년경에는 AI가 인간보다 10억 배 이상 똑똑해지는 ‘초지능성’에 도달할 것이라는 예측이다.

최악의 경우에 일론 머스크의 말처럼 AI가 '핵폭탄보다 위험'할 수도 있으며, 스티븐 호킹의 말대로 '인류의 종말'을 불러올 수도 있다. AI가 종(種)의 변형을 이루어 인간이 단순한 기계의 노예나 식량만 축내는 잉여인간으로 전락할 수 있는 디스토피아의 세계가 도래할 수도 있다.

AI가 인류발전에 가져오는 순기능은 살리면서 앞으로 대두될 다양한 형태의 사회적 문제점은 제도로 보완하기 위한 노력이 요구된다. 결국 AI 기술의 지속적인 발전을 촉진하면서 한편으로 지금처럼 AI의 개발을 자율에 맡길 것이 아니라 일정한 국제적 규제와 통제를 마련해야 한다. 국제원자력기구(IAEA)와 같은 성격의 국제 AI 규제 기구가 설립되어야 한다. 더 이상 나쁜 의도로 개발되는 인공지능에 대해서는 허용하지 말고, 철저한 규제와 통제가 필요한 시점이다.

결론적으로 인공지능의 문제도 정치적 문제이며, 유권자인 국민들이 정치인들로 하여금 AI 규제에 필요한 국제기구를 설립하도록 촉구해야 한다. 인간의 감성을 가진 인공지능이 인간을 존중하고 인간을 위해 일하도록 윤리관을 심어주는 것도 인간의 손에 달려 있다.