Daniel C. Dennett, Melancholy.
"The Problem with Counterfeit People," The Atlantic, online May 16th, 2023.
D.C. Dennett's warning about 'fake humans' created by artificial intelligence (AI) and suggestions for countermeasures
AI-created 'fake humans' are the 'most dangerous artefact in human history', which has the potential to destroy not only the economy but also human freedom itself. It is proposed that the creation of fake humans and the 'passing' of 'fake humans' should be banned and the penalties for their violation should be made very severe.
The Problem With Counterfeit People
Money has existed for several thousand years, and from the outset counterfeiting was recognized to be a very serious crime, one that in many cases calls for capital punishment because it undermines the trust on which society depends. Today, for the first time in history, thanks to artificial intelligence, it is possible for anybody to make counterfeit people who can pass for real in many of the new digital environments we have created. These counterfeit people are the most dangerous artifacts in human history, capable of destroying not just economies but human freedom itself. Before it’s too late (it may well be too late already) we must outlaw both the creation of counterfeit people and the “passing along” of counterfeit people. The penalties for either offense should be extremely severe, given that civilization itself is at risk.
It is a terrible irony that the current infatuation with fooling people into thinking they are interacting with a real person grew out of Alan Turing’s innocent proposal in 1950 to use what he called “the imitation game” (now known as the Turing Test) as the benchmark of real thinking. This has engendered not just a cottage industry but a munificently funded high-tech industry engaged in making products that will trick even the most skeptical of interlocutors. Our natural inclination to treat anything that seems to talk sensibly with us as a person—adopting what I have called the “intentional stance”—turns out to be easy to invoke and almost impossible to resist, even for experts. We’re all going to be sitting ducks in the immediate future.
The philosopher and historian Yuval Noah Harari, writing in The Economist in April, ended his timely warning about AI’s imminent threat to human civilization with these words:
“This text has been generated by a human. Or has it?”
It will soon be next to impossible to tell. And even if (for the time being) we are able to teach one another reliable methods of exposing counterfeit people, the cost of such deepfakes to human trust will be enormous. How will you respond to having your friends and family probe you with gotcha questions every time you try to converse with them online?
Creating counterfeit digital people risks destroying our civilization. Democracy depends on the informed (not misinformed) consent of the governed. By allowing the most economically and politically powerful people, corporations, and governments to control our attention, these systems will control us. Counterfeit people, by distracting and confusing us and by exploiting our most irresistible fears and anxieties, will lead us into temptation and, from there, into acquiescing to our own subjugation. The counterfeit people will talk us into adopting policies and convictions that will make us vulnerable to still more manipulation. Or we will simply turn off our attention and become passive and ignorant pawns. This is a terrifying prospect.
The key design innovation in the technology that makes losing control of these systems a real possibility is that, unlike nuclear bombs, these weapons can reproduce. Evolution is not restricted to living organisms, as Richard Dawkins demonstrated in 1976 in The Selfish Gene. Counterfeit people are already beginning to manipulate us into midwiving their progeny. They will learn from one another, and those that are the smartest, the fittest, will not just survive; they will multiply. The population explosion of brooms in The Sorcerer’s Apprentice has begun, and we had better hope there is a non-magical way of shutting it down.
There may be a way of at least postponing and possibly even extinguishing this ominous development, borrowing from the success—limited but impressive—in keeping counterfeit money merely in the nuisance category for most of us (or do you carefully examine every $20 bill you receive?).
As Harari says, we must “make it mandatory for AI to disclose that it is an AI.” How could we do that? By adopting a high-tech “watermark” system like the EURion Constellation, which now protects most of the world’s currencies. The system, though not foolproof, is exceedingly difficult and costly to overpower—not worth the effort, for almost all agents, even governments. Computer scientists similarly have the capacity to create almost indelible patterns that will scream FAKE! under almost all conditions—so long as the manufacturers of cellphones, computers,digital TVs, and other devices cooperate by installing the software that will interrupt any fake messages with a warning. Some computer scientists are already working on such measures, but unless we act swiftly, they will arrive too late to save us from drowning in the flood of counterfeits.
Did you know that the manufacturers of scanners have already installed software that responds to the EURion Constellation (or other watermarks) by interrupting any attempt to scan or photocopy legal currency? Creating new laws along these lines will require cooperation from the major participants, but they can be incentivized. Bad actors can expect to face horrific penalties if they get caught either disabling watermarks or passing on the products of the technology that have already been stripped somehow of their watermarks. AI companies (Google, OpenAI, and others) that create software with these counterfeiting capabilities should be held liable for any misuse of the products (and of the products of their products—remember, these systems can evolve on their own). That will keep companies that create or use AI—and their liability-insurance underwriters—very aggressive in making sure that people can easily tell when conversing with one of their AI products.
I’m not in favor of capital punishment for any crime, but it would be reassuring to know that major executives, as well as their technicians, were in jeopardy of spending the rest of their life in prison in addition to paying billions in restitution for any violations or any harms done. And strict liability laws, removing the need to prove either negligence or evil intent, would keep them on their toes. The economic rewards of AI are great, and the price of sharing in them should be taking on the risk of both condemnation and bankruptcy for failing to meet ethical obligations for its use.
It will be difficult—maybe impossible—to clean up the pollution of our media of communication that has already occurred, thanks to the arms race of algorithms that is spreading infection at an alarming rate. Another pandemic is coming, this time attacking the fragile control systems in our brains—namely, our capacity to reason with one another—that we have used so effectively to keep ourselves relatively safe in recent centuries.
The moment has arrived to insist on making anybody who even thinks of counterfeiting people feel ashamed—and duly deterred from committing such an antisocial act of vandalism. If we spread the word now that such acts will be against the law as soon as we can arrange it, people will have no excuse for persisting in their activities. Many in the AI community these days are so eager to explore their new powers that they have lost track of their moral obligations. We should remind them, as rudely as is necessary, that they are risking the future freedom of their loved ones, and of all the rest of us.
Document ATLCOM0020230517ej5g00002
Daniel C. Dennett 1,214 words 16 May 2023 The Atlantic ATLCOM © 2023.
The Atlantic Monthly Group. All rights reserved.
-------------------------------------------------------
Daniel C. Dennettの憂鬱
“The Problem with Counterfeit People,” The Atlantic, online May 16th, 2023. https://tufts.box.com/s/894vdcbyxr1ic468jcxseckuo2ebkvsk
人工知能（AI）によって作られた「偽の人間」についてのD.C.Dennettの警告と対策の提案
AIによって作られた「偽の人間」は「人類史上最も危険なアーティファクト」であり、それは経済だけでなく人間の自由自体を破壊する可能性がある。偽の人間の作成と「偽の人間」の「通過」を禁止することを提案し、その違反に対する罰則を非常に厳しくするべきだ。
----------------------------------------------------------
貨幣は数千年前から存在し、当初から偽造は非常に重大な犯罪であり、社会が依存する信頼を損なうため、多くの場合、死刑に値すると認識されていました。今日、人工知能のおかげで、歴史上初めて、私たちが作り出した新しいデジタル環境の多くで、本物と見紛うような偽の人間を誰でも作ることができるようになりました。これらの偽造人間は、経済だけでなく人間の自由そのものを破壊することができる、人類史上最も危険な人工物なのです。手遅れになる前に（もう手遅れかもしれませんが）、私たちは偽造者の作成と偽造者の「渡し」の両方を違法としなければなりません。文明そのものが危機に瀕しているのだから、どちらの犯罪も極めて厳しい罰則を科すべきである。
1950年、アラン・チューリングが「模倣ゲーム」（現在はチューリング・テストと呼ばれる）を本物の思考の基準として用いることを無邪気に提案したことから、現在、人を騙して本物の人間と交流していると思わせることに熱中しているのは、大変な皮肉であると言える。その結果、家内工業だけでなく、莫大な資金を提供するハイテク産業が生まれ、最も懐疑的な相手でも騙せるような製品を作るようになりました。私たちの自然な傾向として、常識的に話してくれそうなものはすべて人間として扱うという、私が「意図的スタンス」と呼んでいるものを採用すると、専門家でさえも簡単に発動でき、ほとんど抵抗できないことが判明しました。私たちは当面、カモにされることになるのです。
哲学者・歴史学者のユヴァル・ノア・ハラリは、4月に『エコノミスト』誌に寄稿し、AIが人類の文明に差し迫った脅威となることをタイムリーに警告した後、次のような言葉で締めくくった：
「この文章は人間によって作成されたものだ。それとも、そうなのか？"
それを見分けることは、まもなく不可能になるでしょう。そして、仮に（当面は）私たちが偽物を見破る確実な方法を教え合うことができたとしても、そのようなディープフェイクが人間の信頼に与える代償は甚大なものになるでしょう。友人や家族とネット上で会話するたびに、質問攻めにあうことになったら、あなたはどう思いますか？
偽物のデジタル・ピープルを作り出すことは、私たちの文明を破壊する危険があります。民主主義は、情報に基づいた（誤った情報ではなく）被支配者の同意に依存しています。経済的、政治的に最も強力な人々、企業、政府が私たちの注意をコントロールできるようにすることで、これらのシステムは私たちをコントロールすることになります。偽物の人々は、私たちの注意をそらし、混乱させ、私たちの最も抵抗できない恐怖や不安を利用することによって、私たちを誘惑に導き、そこから私たち自身の支配に同意させる。偽物の人々は、私たちを説得して、さらに操られやすくなるような政策や信念を採用させるでしょう。あるいは、私たちは単に注意をそらし、受動的で無知な手先になってしまうでしょう。これは恐ろしいことです。
このようなシステムの制御を失うことを現実のものとする技術の重要な設計上の革新は、核爆弾とは異なり、この兵器が繁殖することである。1976年にリチャード・ドーキンスが『利己的な遺伝子』で示したように、進化は生物に限られたものではない。偽物の人間は、すでに私たちを操って、その子孫を産み落とそうとし始めている。彼らは互いに学び合い、最も賢い者、最も適した者が生き残るだけでなく、増殖していくのです。魔法使いの弟子』における箒の人口爆発は始まっており、それを止める非魔法的な方法があることを祈ったほうがいい。
少なくとも、この不吉な展開を先送りし、場合によっては消滅させる方法があるかもしれない。それは、私たちの多くにとって、偽札を迷惑の範疇にとどめるという、限定的だが印象的な成功例（あるいは、受け取った20ドル札をすべて慎重に吟味するか）を参考にすることである。
ハラリ氏が言うように、私たちは「AIがAIであることを開示することを義務づける」必要があります。どうすればそんなことができるのか？現在、世界のほとんどの通貨を保護しているEURion Constellationのようなハイテクな「透かし」システムを採用することです。このシステムは、完全なものではありませんが、圧倒的に難しく、コストがかかるため、政府を含むほとんどすべてのエージェントにとって、その労力に見合うものではありません。携帯電話やコンピューター、デジタルテレビなどのメーカーが、警告を発して偽メッセージを中断させるソフトウェアをインストールすることに協力する限り、ほとんどすべての状況下で「FAKE！」と叫ぶ、ほとんど消えないパターンを作成する能力がコンピューター科学者にはある。すでに一部のコンピュータ科学者は、このような対策に取り組んでいますが、私たちが迅速に行動しなければ、偽造品の洪水に溺れるのを救うには手遅れになってしまうでしょう。
スキャナーのメーカーが、EURion Constellation（または他の透かし）に反応して、合法的な通貨をスキャンしたりコピーしようとする試みを中断させるソフトウェアをすでにインストールしていることをご存じですか？このような新しい法律を作るには、主要な参加者の協力が必要ですが、インセンティブを与えることは可能です。悪質な業者は、透かしを無効にするか、すでに何らかの形で透かしが除去された技術の製品を渡すかのいずれかで捕まった場合、恐ろしい罰則に直面することが予想されます。このような偽造機能を持つソフトウェアを作成したAI企業（Google、OpenAIなど）は、その製品（およびその製品の製品-これらのシステムは独自に進化しうることを忘れないでください-）の誤用に対して責任を負うべきです。そのため、AIを開発・使用する企業やその責任者である保険会社は、自社のAI製品と会話しているときに、簡単に見分けがつくようにすることに非常に積極的に取り組むことになるでしょう。
私はどんな犯罪に対しても死刑を支持するわけではありませんが、大企業の経営者やその技術者が、違反や被害に対して何十億もの賠償金を支払うだけでなく、残りの人生を刑務所で過ごす可能性があると知っていれば、心強いことでしょう。また、過失や悪意を証明する必要のない厳格な責任法は、彼らの気を引き締めることになるでしょう。AIがもたらす経済的報酬は大きく、それを享受する代償として、AIの使用に関する倫理的義務を果たさないことによる非難や倒産のリスクを背負う必要があります。
アルゴリズムの軍拡競争によって、すでに起きてしまったコミュニケーションメディアの汚染を一掃することは難しく、不可能かもしれない。今度は、ここ数世紀、比較的安全な生活を維持するために効果的に使われてきた、私たちの脳の脆弱な制御システム、つまり、互いに理性的に話し合う能力を攻撃する、新たなパンデミックが到来している。
今こそ、人を偽造しようと考える者に恥を感じさせ、そのような反社会的な破壊行為を阻止するよう主張するときである。今、このような行為が法律で禁止されていることを広めれば、そのような行為に固執する言い訳はできなくなるはずです。最近のAIコミュニティでは、新しい力を探求するあまり、道徳的な義務を見失う人が多くなっています。私たちは、必要な限り無礼に、彼らが自分の愛する人たち、そして私たち全員の将来の自由を危険にさらしていることを思い出させるべきです。
Document ATLCOM0020230517ej5g00002
---------------------------------------------------------------
Daniel C. Dennettにも弱点はある。こんな発言ではラッダイド運動の扇動じゃないか（南無、、、、）
.jpg)
.png)
