[WEEKLY OCHIAI シーズン５ | 富野由悠季と語る「ニュータイプ」](https://newspicks.com/movie-series/87?movieId=2004) - テクノロジーと資本主義の夢 -> 資源の食い尽くし 宇宙開発 - 知の愚明 - 循環 コンピュータと人間の関係性の最も基本となるReliabilityにはどんな役割があるのだろうか。 Reliability 100%を目指さないことに大きな意味があるように思う。 人間がコンピュータに依存し切らないようにする。 コンピュータが神のようになるのであれば、神のきまぐれとしてコンピュータが停止する。 一部の運用者がコンピュータを稼働させるための奴隷になることを避ける。 エネルギーの制約の範囲内で計算機を落としたり、人間に選択させる。 AIの発達により、AIがますます人の生活に溶け込んでいったとき、あるいはその先のAGIの出現した未来において、人間と計算機の最も基本的な関係性を規定する信頼性はどうなるか、どうあるべきを考えている AGIが人間のエンジニアを超える知能で現在の計算機システムを再デザインしたとして、信頼性100%が保証されるのか。保証しようとすると、できるかぎりの冗長性を確保したいので、直感的には無限のエネルギーを必要とするような気がする。とすると、実際には資源は有限なので、信頼性は非常に高いが100%ではないとなる。 信頼性が非常に高いと人間は計算機に依存しきってしまうので、いざエラーが発生したときに、大きな混乱が発生することが予想される。 技術的にはより高い信頼性を維持することが可能であっても、人間の依存性を制御するためにあえて信頼性が低い状態をつくる”気まぐれな”システムとして設計されるのが望ましいのではないか。 AGIに至る途中段階で、現状の生成AIベースの技術で自動プログラミングができたする。その範囲はアプリケーションドメインのコードにとどまり、システムソフトウェアには及ばないとしたら、いきおいよく生産されていくアプリケーションコードが生み出すシステム負荷と障害をどのように制御していくのか。 人間のSREがAIが量産するコードの奴隷になる事態が予想される。OpsもAIでやればいいのだけど、コードと比べると学習可能なデータが圧倒的に少ないのが問題となりそう。