k-takahashi's blog

個人雑記用

ChatGPTの頭の中

 

 

著者はマセマティカで有名なスティーヴン・ウルフラム。深層学習とは何か、ChatGPTをどのような仕組みで動いているのか。そもそもLLMで出来ていることはなんなのか、といったことを解説している。

中身の作りについても結構具体的な話題が多くて面白い。(パラメータが多い方が学習が容易になることがあるとか、抽象化自体をネットワークにやらせた方がよいとか、抽象化(埋め込み)は結論直前のノードを調べると見えてくるとか)

ChatGPTがやってのける様々なタスクは、実はそれほど高度な思考の産物ではないのかもとか言うのは、もちろん保留付きの話ではあるが面白い。

 

後半は著者の専門である数学的手法とLLMの融合の話題。LLMが人間の思考をある意味で写し取ったものであるならば、数学的に厳密な計算というのも、計算機に任せた方がよいはずだというのは、なるほどと思った。(で、著者が作っている「Wolfram|Alpha」というシステムと繋ぐと凄く良くなる、みたいな話に繋げていく)

 

ただ、元の文章がそうなのか、訳文のせいなのか分からないが、正直ちょっと読みにくいと感じた。一般向けの解説書というよりは、学会誌のエッセイのような印象。