#202305ns コロナ後遺症 脳神経への深刻なダメージ

肺の外にもSARS-CoV-2が存在している初の確かな証拠は #2021y 、シンガポールの研究チームによってもたらされた。COVIDから回復した5人の患者の腸にウイルス由来のタンパク質を発見した研究で、回復の6カ月後に見つかった例もあった。

#202212m のNature誌に報告されたNIHの研究によると、新型コロナウイルスは脳に何カ月も残留しうる。44人のCOVID死亡患者を剖検した結果、激しい炎症を起こしていたのは主に気道だったが、脳を含め全身にウイルスのRNAが検出された。

#202305ns コロナ後遺症 脳神経への深刻なダメージ

ある研究では、COVIDで神経症状を呈している患者の場合、特に中枢神経系で免疫系の活動が高まって炎症が生じていることを見出した。ただし脳の炎症は、おそらくこのウイルスが脳に直接感染した結果ではない。

COVIDの死亡患者を剖検した結果、「脳に大量のウイルスはないのに、免疫が活動した後が数多く見られた」。特に血管の周囲が激しい。これらの結果はマクロファージの活動が刺激されていたことを示唆していた。「マクロファージは狙いを正確に定めた攻撃はしない」。じゅうたん爆撃のような攻撃で、周辺は大きなダメージを受けることになる。

#202305ns コロナ後遺症 脳神経への深刻なダメージ

いわゆる「ロングCOVID」は、専門家の間では「新型コロナウイルス急性感染後後遺症（PASC）」と呼ばれている。ワクチン接種はリスクを下げるようだが、完全には防げない。

「ウイルス感染後症候群」は新しいものではない。HIVが神経系に及ぼすダメージの研究が、コロナ後遺症に対する取り組みの指針になっている。

コロナ後遺症の多くの症状が脳と神経系を通じて生じている可能性が認識されたことで、治療の道筋が見えてきた。

#202305ns コロナ後遺症 脳神経への深刻なダメージ

S.サザーランド（科学ジャーナリスト）。大勢の人々がいまだに感染の後遺症に悩んでいる。その症状をもたらしている神経学的な原因が明らかになってきた。

---

#KeyConcepts 過剰な免疫応答が神経系を害する可能性

▪️新型コロナウイルス感染症から回復した後に体調不良が長く続く例が多い。米国では昨年2月時点で約1600万人の成人が後遺症を患っていたと推定され、いまだ職場復帰できていない人も多い。

▪️長期症状のほとんどは神経の不調によるもので、多くの人が「ブレインフォグ」などの形で認知機能不全を経験している。痛みや極度の疲労などの身体的な症状も自律神経系の不調に由来すると考えられる。

▪️ウイルス感染を引き金に脳で免疫細胞が過剰に活性化し、神経系を害しているようだ。そうした詳細を把握できるようになり、治療の道が見え始めている。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

人間は自身の感覚や経験と関連付けて言葉を覚えている点が今のAIと異なる。今の言語モデルは純粋に言葉の情報しか学んでいない。「上下」や「前後」など初歩的な空間概念すら獲得できていない状態で推論をしようとしても無理があるのではないか。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

大規模言語モデルは、特定の言葉に応答して不思議な振る舞いを見せることがある。ChatGPTの場合、問題文の最後に「Let's think step by step」という呪文を加えると、問題の正答率が見違えるように上がった。

この呪文は、他の様々なタイプの問題でも試したところ、数学の文章題から論理的な推論問題、演繹法や帰納法といった記号推論で幅広く有効だった。特に数学の文章題では、そのままでは17.7%しか正解できないテストにおいて78.7%という高スコアを出した。

大規模言語モデルの中には、直感的に答える思考法と、論理的な思考法の双方が獲得されているのではないか。「step by step」の言葉がスイッチのように働くことで、大規模言語モデルの挙動が切り替わるのかも。「多重人格」なのかもしれない。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

ChatGPTの内部で何が起きているか調べる方法はあるが、言語モデルの規模が大きく複雑になりすぎて「ChatGPTに聞いた方が早い」。認知科学の分野では、実験で人間の様々な応答から脳の機能を探るのが一般的だが、AIに対しても同じ方法が有効なのだ。

大量の文章を学んで難しい質問に答えられても、大規模言語モデルは文法をきちと理解してはいない。日本語の語順と助詞を入れ替え、意味が変わったかどうかをAIに判定させる実験をすると、それがよくわかる。

言語モデルは個々の名詞や動詞といった語彙の意味を捉えるのは得意だが、助詞が持つ文法上の機能はわかっていないようだ。日本語の場合、助詞はノイズのように扱われてしまい、意味がない情報と判断されているのかも。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

大規模言語モデルは「心の理論」も獲得できたとされる。どの程度相手の心を理解する力があるかを調べる心の理論の評価テストにおいて、GPT-3.5の正答率は93%だった。7歳の子供が同じテストを受けた場合の正答率は約7割とされるから、かなり高い。

大規模言語モデルの中で動くトランスフォーマーは、すごく大雑把に言えば、入力データを分類してそれに最も近い過去の学習データを取り出してくることで出力を決める。このときにChatGPTは参照する過去のデータを1個に絞るか複数取り混ぜるか決めている？

質問のされ方に応じて参照する過去のデータを1個に絞れば、学習した情報がそのまま出力される。一方、関連しそうなデータを複数とり混ぜることにすれば、過去の学習にはなかった独創的に見える出力内容になるのではないか。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

GPTは単語の出現確率を学習するとき、ランダムな位置で文章の後半部を隠し、前半部を頼りに後半の一単語目を当てるというクイズを延々と繰り返す。ここでGPTは直前の単語だけでなく、離れた位置にある他の単語にも注目して、予測精度を高める。

つまり、長い文章であっても、そこに出てくる全ての単語の関係性を網羅的に学び取ろうとする。これを可能にしているのが、GPTのトランスフォーマーという学習アルゴリズムだ。これは文中の離れた位置にある単語同士の関係をつかむのを得意としている。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

rinnaという会社は、マイクロソフトから #2020y に独立してできた会社だ。元々はマイクロソフトが #2015y に開発したSNS上で気さくな会話ができる「りんな」というAIチャットボットを開発していた。

rinnaはOpenAIが提供している大規模言語モデルGPTの仕組みを応用して日本語に特化した大規模言語モデルを新たに開発し、#202201m に公開した。

#202305ns 「話すAI描くAI ChatGPTの頭のなかをのぞき見る」

出村政彬（編集部）。ChatGPTは、数学の問題を出すと興味深い間違い方をする。AIの出した答案を吟味することで、ブラックボックスの中身が見えてくるかもしれない。

---

#KeyConcepts

ChatGPTのような大規模言語モデルのAIは「次の単語を予測する」というタスクをひたすら繰り返し、知識のデータベースがなくても様々な問題に答えることができる。

このAIは四則演算などの手法を自分なりに学び、数学の問題が解ける。ただし、人がしない不自然な誤答もする。AIの習得した数学は人々が知っている数学とは違うようだ。

特定の"呪文"を唱えるだけで難解な数学問題の正答率が劇的に上がる。こうした現象の原因は不明だが、AIが学んだ単語のネットワークの構造を反映しているのかもしれない。

#202305ns 大規模言語モデル

画像生成 AIでも大規模言語モデルや基盤モデルが活躍している。例えばStable diffusionの場合は、OpenAIが開発した「CLIP」という基盤モデルを使っている。言葉と、それに対応する画像の大量のペアから学習している。この技術の登場で、画像生成の幅が格段に広がった。

#202305ns 大規模言語モデル

OpenAIは #202007m、新たな大規模言語モデルGPT-3をリリースした。モデルの規模は一挙に100倍に増やした。巨大なモデルはそれまでの「事前学習とファインチューニング」という学習の枠組みを一新した。ファインチューニングを事実上不要にできることがわかったのだ。

GPT-3の能力を受け継いだChatGPTは、モデルの信頼性を高めるため、人間の判断を盛り込んだ追加的な学習を施しているのが特徴で、OpenAIはこれを「人間のフィードバックからの強化学習」（Reinforcement Learning from Human Feedback、RLHF）と呼んだ。

RLHFの目的は、人間からの様々なパターンの問いかけに的確に答えるようにすることと、差別や偏見を含む不用意な発言をしないよう出力にフィルターをかけること。そのための学習用データセット作りは国内外にアウトソーシングして、人手をかけて進めたといわれる。

#202305ns 大規模言語モデル

GPTとBERTの深層学習モデル学習の中核がトランスフォーマーだった。トランスフォーマーは注意機構（Attention）という仕組みによって学習効率を上げた。ある単語と、その周囲の文中全ての単語との関係の強さを効果的に学習できるようになった。

事前学習とファインチューニングの組み合わせというアプローチを後押しする研究が、#2020y にOpenAIが発表した。大規模言語モデルの精度は、計算リソースとモデルの規模、学習するデータ量が増えるほど、一本調子に向上することが確認された。

モデルや学習の規模と性能の関係は「スケーリング則」と呼ばれるが、何がこれを可能にしているのかは未解明だ。「深層学習がなぜこれほどうまくいくのか、理論的にはわかっていないことが多い。理論限界もまだ見えない」。

#202305ns 大規模言語モデル

深層学習の課題を克服するアプローチが #2017y から #2018y に登場した。大量のテキストデータで訓練され、多様な個別タスクに適応できる「大規模言語モデル」だ。視覚データを大量に学習するモデルも登場し、それらを総称した「基盤モデル」という呼び名が定着した。

#2018y、時代を画す言語モデルが続々と登場した。#201802m にアレン人工知能研究所のELMo、#201806m にOpenAIのGPT、#201810m にグーグルのBERTという新たな言語モデルが発表され、ベンチマークの記録を競い合うように塗り替えていった。

GPTとBERTのモデル学習の手法は斬新だった。大量データによる事前学習と、比較的少量のデータによる追加的な再学習（ファインチューニング）の2段階に分けていた。大規模言語モデルの事前学習では、学習用のデータセットのラベル付の必要がなく、自動化できた。

#202305ns 大規模言語モデル

今のAIブームが始まった #2010y 代前半以来、牽引役は画像や物体、音声や文字などを認識するタスクをこなす「認識系」AIだった。この時、大量のデータをもとに認識対象の背景にあるパターンやルールを学習する深層学習の技術が初めて表舞台に登場した。

深層学習は一般に学習用のデータを数万から数十万セット規模で準備する必要があり、その多くは手作業で作成される。画像診断AIの場合、専門家が病巣部に目印を付けるといったラベル付作業が必要だ。こうした「教師データ」の作成に多大な労力を費やす必要があった。

深層学習の課題を克服するアプローチが #2017y から #2018y に登場した。大量のテキストデータで訓練され、多様な個別タスクに適応できる「大規模言語モデル」だ。視覚データを大量に学習するモデルも登場し、それらを総称した「基盤モデル」という呼び名が定着した。

#202305ns 話すAI描くAI
AIに人間らしさをもたらした
大規模言語モデル
吉川和輝（日本経済新聞）、協力：今泉允聡（東京大学）

まるで人間のように自然な受け答えができるChatGPT。人間が描いたものを上回る完成度の絵を描くStable Diffusion。生成AIは、これまでとは次元が違うフェーズに突入した。

---
#KeyConcepts

人間と自然な対話を交わしたり、プロ顔負けのイラストを出力したりする生成系人工知能（AI）技術の進展がめざましい。

桁違いの量のデータで学習をした基盤モデル（大規模言語モデルなど）と呼ばれる深層学習AI技術が生成系AIの進展を支えている。

基盤モデルはその規模や学習データの量の拡大につれて性能が向上し続け、モデルの規模拡大競争に拍車がかかっている。

#202305ns 日経サイエンス 2023年05月号
対話するAI ChatGPT 言語モデルから生まれる知性
数学の数学「圏論」の世界
クール・コンピューター 熱くならない計算機を作る
コロナ後遺症 脳神経へのダメージ