科学技術コミュ日記

まずはズレをわかりたい

講義「先端科学技術の倫理的・法的・社会的課題と責任ある研究・イノベーション」（標葉隆馬）。未来に対するケアを考える

バーバラ・クルーガーごっこ
バーバラ・クルーガーごっこ

土曜日は、ソーシャルデザイン実習でアートについて語り合ったあと、午後には、科学社会学・科学技術社会論・科学技術政策論をご専門とされる標葉隆馬（しねはりゅうま）さんによる「先端科学技術の倫理的・法的・社会的課題と責任ある研究・イノベーション」という講義がありました。

私はこの講義で初めて「ELSI」や「RRI」という用語や分野を知ったのですが、自分の漠然と関心があることにも関連していて、また標葉さんの軽快な語り口も相まって大変面白かったです。

90分間の講義で大量の情報が提示されて、また私がこの話題についてまだよく分かっていないのもあり、とても包括的にまとめることはできませんが、断片的に少しメモを。

ELSIとRRIって？

「ELSI」（エルシー）について、標葉さんが所属される大阪大学ELSIセンターのウェブサイトでは、センター長の岸本充生さんが以下のように述べられています:

ELSIとは、倫理的・法的・社会的課題（Ethical, Legal and Social Issues）の頭文字をとったもので、エルシーと読まれています。新規科学技術を研究開発し、社会実装する際に生じうる、技術的課題以外のあらゆる課題を含みます。

ELSIとは - 大阪大学 社会技術共創研究センター（ELSIセンター）（2023-05-29取得）

別の記事で、岸本さんは「19世紀末のカメラ」の例を挙げています:

新しいテクノロジーが社会に実装されると、現在の法律（L）、倫理（E）、社会（S）のそれぞれにギャップが生じます。古典的な例として有名なものは19世紀末のカメラです。カメラが安価になり一般市民が入手できるようになると、一部の人たちが有名人のプライベートな写真を撮って雑誌や新聞に売り込んだと言われています。こうしたことがきっかけになり「プライバシー」という概念が生み出され、さらにはプライバシーの権利といった法的な考え方につながったのです。

岸本充生「ELSIとは何か」　 NHK解説委員室（2023-05-29取得）

また、この記事では倫理（E）に関して以下の記述もありました:

しかし新しいテクノロジーの社会実装においては、法律（L）は技術革新の後追いにならざるを得ません。他方、社会（S）は移ろいやすく不安定です。そのため、相対的に、倫理（E）の地位が高まってきているのです。

岸本充生「ELSIとは何か」　 NHK解説委員室（2023-05-29取得）

一方、「RRI」は「Responsible Research and Innovation, 責任ある研究・イノベーション」を指します。講義後に少し調べたところ、科学技術振興機構による資料では、ELSIとRRIを対比する以下の記述がありました:

敢えて大別するなら、ELSIは科学技術を基点にして、それが社会との間で生じる倫理的・法的・社会的側面の把握・検討・対処を試みる考え方である。これに対し、RRIは（目指すべき）社会像や価値（観）から逆算して、我々の社会が直面している壮大な課題に挑戦するための手段として科学技術・イノベーションを据え、それを効果的に推進するために倫理的・法的・社会的側面に関わる検討や実践を要請することや、科学技術の研究開発のあり方そのものをそうした社会像や価値（観）に合致した、より好ましいものへと変革、転換しつつ発展させていくことを主眼とする。あるいは、 ELSIはまさに「倫理的・法的・社会的課題の解決（とそのための研究や取り組み）」 を指すのに対して、 RRIは「研究・イノベーションのあり方の変革」 を指すという言い方もできよう。必然的に、RRIでは、科学技術・イノベーションが引き起こす課題の把握・検討・対処に留まるのではなく、目指すべき社会像への挑戦（Societal challenges）への試みが強調される点も、ELSIとの大きな違いとして留意が必要な点である（Box. 1–2）。

国立研究開発法人科学技術振興機構 研究開発戦略センター「ELSIからRRIへの展開から考える科学技術・イノベーションの変革」（2022）, p.3 （強調引用者）

標葉さんは「ELSIからRRIへ ＝ リスクガバナンスからイノベーションガバナンスへ」という書かれ方もされていました。守りから攻めへ、というふうにも捉えられるかもしれません。

また大阪大学ELSIセンターでは、フリマアプリなどを提供するメルカリのmercari R4Dという研究開発組織と共同研究されているそうで、そちらではELSIをカジュアルに解説する動画がありました。ここでは、登場当時の自転車や、これから社会実装されていく自動運転、はたまた映画『バック・トゥ・ザ・フューチャー』の浮遊する乗り物ホバーボードなど、具体的な題材をもとにお話しされていて、とっつきやすいコンテンツでした:

分析・実践の手法

ELSIやRRIを考えるにあたって、現状、人々がどう感じているか、考えているかを把握する必要があります。講義では、ELSIとRRIの分析・実践に関するお話が、最新のプロジェクトを例にたくさん紹介されていました。議題抽出のために、文献調査に限らず、SNSの分析やアンケート調査などなど多種多様な手法を用いていて、想像よりも泥臭いお話しでした。

情報科学の一分野、コンピューターで人間の言葉を扱う「自然言語処理」では、その技術を用いてソーシャルメディアの分析を行う事例も多々あります。国内ではNAISTのソーシャル・コンピューティング研究室が著名で、例えばソーシャルメディアの発言からインフルエンザや花粉症の流行地域を推定するというような例があります。そのように、ELSIやRRIの取り組みへ、情報科学の知見や技術を取り入れていくこともできそうです。

専門家と一般人のズレ

講義では、標葉さんらが取り組んできた再生医療などでの調査を例に、一般人と研究者では何が知りたいか・伝えたいかにズレがあることなどが紹介されていました。

標葉さんらが行ったある調査では、一般モニターは70%以上が再生医療へ肯定的な回答をしていました。一方で、臓器を作るための、人と人以外の動物の細胞を混在させるキメラ胚については、研究者では条件付きを含むと半数以上が受け入れられると回答したのに対し、一般回答は25%程度と、かなりの差がみられたそうです。私もパッと聞かれたら「なにそれ怖そう」と忌避的な回答をすると思います:

このようなズレがあるための、同意を取得することの難しさや、様々な「同意の種類」が語られていました。

再生医療に対する一般の声として「それで働く期間が伸びたり、年金支給が遅れたりするなら嫌だ」というコメントもあったそうです。そのような新技術によるベネフィットを社会へ上手く埋め込むには、技術自体に増して公共福祉政策の観点が重要になったりするでしょう。

「フレーミング（問題の枠組み設定）の擦れ違い」がわかれば議論がラクになる、とも述べられていました。

リテラシー、受容、信頼

また、「かなり注意が必要」と標葉さんが前置きした上で紹介した、科学技術リテラシーとその受容の関係性に関する記事も興味深かったです:

Strongest opponents of GM foods know the least but think they know the most | GM | The Guardian

この記事と元論文では、「遺伝子組み換え食品に対する反対意見が強い人ほど、”知識テストの得点と自己評価の差”が大きい」と主張されています。

そう言われると、なんとなくさもありなんという気もします。ダニング＝クルーガー効果というやつです。しかしそう単純ではなく、知識そのものに加えて「情報が共有される」ことへの信頼なども含めた状況が強く効いていると解釈するほうが妥当では、などとも補足されていました。数週前の川本思心さんによる講義「科学技術コミュニケーションとは何か」で述べられた、科学/科学者への信頼の話や、欠如モデルの話題にも繋がります。

また、国内の調査では逆の分析結果（差分が大きいほど無条件に受け入れてくれる）が出たこともあったそうで、権威への信頼感が強いという性質があるのかもしれない、同じような結果になると思ったがやってみないとわからないものだなあ、などとも語っておられました。

技術と悪用

先日、サツゲキ（札幌の映画館）で『Winny』という映画を観ました。ファイル共有ソフトWinnyを開発した金子勇さんの逮捕を描いたものです。このWinny事件では2004年の起訴から7年後、2011年に無罪判決が出ています:

これを観た時に、ロボット工学者の石黒浩さんが言っていた「悪用できない技術は偽物である」という話を思い出しました:

「悪用できない技術は偽物である」
これが私の持っている一つの基準だ。技術とは世の中を変える可能性があるものである。逆に世の中にまったく影響を与えない技術は、意味のない技術であって、技術とは呼べない。
その技術の使い方次第で、悪いこともできれば、よいこともできる。原子力の研究は、爆弾も作れば、電気も起こす。インターネットは、ネットショップなど、新しい多くのビジネスを生み出すとともに、ポルノに簡単にアクセスすることを可能にした。実際に、インターネット利用の七割はポルノ情報だとも言われている。
技術をどのように使うかという問題は非常に重要である。しかしながら、利用方法を考える以前に、世の中を変える純粋な技術開発が必要なのである。「自らが作り出すものが世の中に悪い影響を与えるかもしれない」という覚悟がなければ、研究はできない。

石黒浩『ロボットとは何か－人の心を映す鏡』（講談社, 2012） 「エピローグ ロボット研究者の悩み」

そういえばこの石黒さんも、ELSIセンターと同じ大阪大学におられます。関連があったりするのでしょうか。

それで、講義後に調べていたら、川本思心さんによる講義「科学技術コミュニケーションとは何か」に名前だけ言及されていた「デュアルユース」というのは、この話題に関連する話のようです:

デュアルユースとは、民生と軍事の両目的に使用できるテクノロジー[2][3]、又は民間企業の技術の中で防衛用途に活用できる先進技術[4]。軍民両用（技術）、デュアルユース・テクノロジーとも呼ばれる。

デュアルユース - Wikipedia（2023-05-29取得）

研究や技術開発を行う身としては責任が伴うことを常々自覚する必要があるでしょう。ELSIやRRIはまさにその話なわけですが、私は最初に述べたように今回初めてこれらを知りました。私が不勉強なのもありますが、情報科学・計算機科学の分野ではまだあまり馴染みがないものなのかなあとも思いました。生命科学の分野では、遺伝子組み換えのガイドラインが議論されたアシロマ会議（1975）を始めとして、より歴史があるように思います。

自然言語処理とELSI、RRI

講義の質疑応答では、最近世間でも話題に挙がる、いわゆる「AI」について、標葉さんへご意見を伺ってみました。

私はもともと、コンピューターで人間の言葉を扱う「自然言語処理」という分野を専門としており、CoSTEPへ応募するにあたっての課題文でもChatGPTなどを取り上げました。

今年（2023）の3月の「言語処理学会年次大会」という当分野における国内最大イベントでは、「緊急パネル：ChatGPTで自然言語処理は終わるのか？」が催され、その様子は現在、一般公開されています:

パネルディスカッションでは、タイトルにあるように、ChatGPTのような流れが自然言語処理研究へどう影響を与えていくか、ということが主題となっていました。日本国外の巨大企業で開発が進む現状についてや、既存の雇用に対する影響なども少し言及されましたが、全体としてELSIやRRIの話題はあまり取り上げられなかったように記憶しています。

少し調べると、当分野の国際学会「ACL (Association for Computational Linguistics)」では、「ACL Ethics Committee」というのがあるそうで、その委員会により、倫理に関するリソースがまとめられていました:

acl-org/ethics-reading-list: A list of ethics related resources for researchers and practitioners of Natural Language Processing and Computational Linguistics

ELSIセンターの生成AIに関するノート

さて標葉さんは、ちょうどELSIセンターからこの話題をまとめたものが出たと紹介してくれました:

生成AI（Generative AI）の倫理的・法的・社会的課題（ELSI）論点の概観：2023年3月版 - 大阪大学 社会技術共創研究センター（ELSIセンター）

ざっと読んだ感じでは、ELSI論点が体系的に整理され、さまざまな分野の反応が簡潔にまとめられていて、この問題を考える上で始点として大変参考になる資料だと思いました。ただ本文でも述べられていましたが、この分野は急速に変化しているため、1か⽉後、半年後、1年後には状況がずいぶん変わっている可能性も高いことに注意が必要でしょう。

「データ・ロンダリング」の話は、そういう方法もあるのかぁ、と思いました:

⽣成 AI ツールの提供会社が直接データを収集・利⽤するのではなく、⾮営利の研究機関を間に挟むことによって「データ・ロンダリング」がなされているという指摘がある[20]。つまり、研究⽬的としてなら著作権に保護されたデータを（「フェアユース」に該当するとして）容易に収集することができ、そこで⽣み出されたデータセットを使うことで、著作物の使⽤に対する対価を払うことなく、商業製品を作ることが可能になるのである。まさにStable Diffusionは（LAISON に資⾦提供をしているにもかかわらず）このような形で作成された。（後略）

p.20

また標葉さんは学習データ作成における労働者の搾取についても言及されていました:

＜インプットの課題：労働者の搾取＞
TIME 誌が2023年1⽉18⽇、OpenAI社が、学習データから有害なコンテンツを取り除くための作業を時給2ドル以下でケニア⼈労働者に外注していたことを明らかにした[59]。具体的には、ケニアにおける外注パートナーであるSama社を通して、インターネットから得られた有害な何万ものテキストの断⽚が送られ、それらへのラベル付けが⾏われた。作業は精神的な苦痛を伴うもので、労働者の⼼的外傷が原因で予定より8カ⽉早い2022年2⽉にOpenAI社向けの仕事はすべてキャンセルされたという。また、データ・ラベラーたちの⼿取り賃⾦は、年功や業績に応じて時給約1.32ドルから2ドルの間であった。記事の著者は「AIはその華やかさとは裏腹に、しばしば南半球の隠れた⼈間労働に依存しており、それはしばしば有害で搾取的である。」と記している。

p.19

このほかにも、著作権、プライバシーやセキュリティ、誤情報やバイアスの問題などなど、観点は沢山あります。

AIと著作権に関しては、国内ではSTORIA法律事務所の柿沼太一弁護士が積極的に発信されています:

AI開発の一時停止

2023年3月、そのリスクを懸念して、GPT-4（OpenAIが開発した超巨大モデル）より強力なモデルの開発を最低でも6ヶ月の一時停止することを求めるオープンレターが出され、多くの研究者も署名していました:

Pause Giant AI Experiments: An Open Letter - Future of Life Institute（2023-03-22）

それに対して、研究者で、AIに関する教育を提供するDeepLearning.AI創立者のAndrew Ngと、Meta社/ニューヨーク大学の研究者Yann LeCunが反論する対話がありました（2023-04-08）:

Ngは、当技術のリスクも踏まえた上で、そもそもそのような停止を行う現実的な手段がなく、政府の介入があれば可能だろうがそれはイノベーション方針として非常に良くない、などと述べています。まさにRRIの観点です:

法とAI

新興技術に対して、法律は基本的に間に合わず、法的拘束力を持たないガイドラインといった「ソフトロー」でまず対応していく、という話がありました。

他方、先日読んでいた生殖医療に関する本では、「法令ではない省庁の指針や学会の会告を順守する日本」（p.198-）という話が述べられていました:

さて、省庁指針にも、前述のように罰則がないのだが、現実には各種研究の立案や実行に関して、まさしく実効性のある規則として機能している。 （中略） 「憲法及び法律の規定を実施するため」の政省令に準ずるはずの省庁指針に、必ずしもその親となる法令が存在していないことへの疑問が、さまざまな場所で法律の専門家から述べられる場面を、私は経験している。そして、指針は、それでもなお、おおむね機能しているように見える。

石原理『ゲノムの子 世界と日本の生殖最前線』（集英社, 2022）, p.200

法が常に後手だとしても、それをより迅速に、また適切に整備していくことは重要でしょう。

以前に私が一員だった「Legalscape」というスタートアップでは、自然言語処理などの情報科学技術を活用し、法の課題に取り組んでいます。ELSIやRRIの観点からも、改めて、今取り組んでいる彼らにエールを送りたいなと思いました:

終わりに

大きな話題で、私の中でも理解が追いついていなかったり、考えがまとまっていないので、散漫な感じになってしまいました。以上です 😴