AI:製品ではなく、プラットフォーム

AI: Platform, Not Product

AIを支える基盤技術:Linuxが担う重要な役割

人工知能(AI)について話すとき、私たちが思い浮かべるのは、実際に目にしたり利用したりできるものです。たとえば、チャットボット、デジタルアシスタント、画像生成ツール、データ分析ツール、コンテンツを作成するツールなどです。しかし、これらは非常に大規模な技術基盤の、目に見える部分にすぎません。

現代のAIは、単にモデルだけで成り立っているわけではありません。あらゆるAIモデルの背後には、膨大なデータ、GPUや専用アクセラレーターなどの特殊なハードウェア、コンピューティングクラスター、そしてネットワークが存在します。こうしたインフラがあるからこそ、モデルの学習や展開、そして大規模な環境での実行が可能になります。

Linuxは、エンドユーザーからは見えないことも多いものの、長年にわたってAIを支えるインフラの一部として利用されてきました。科学技術計算に用いられるHPC(ハイパフォーマンスコンピューティング)システムから最新のGPUクラスターまで、またクラウドからエッジまで、LinuxはAIが稼働するソフトウェアおよびハードウェアのエコシステムの大部分を支える基盤となっています。

そのため、AIを単なるソフトウェア製品の新しいカテゴリーとして捉えるだけでは不十分です。AIはコンピューティングプラットフォームへと進化しつつあり、その上にサービスやアプリケーション、さらにはまったく新しいインフラまでが構築されるようになっています。

AIを構成する技術スタック

AIシステムを利用するとき、私たちはAIモデルこそがすべてだと感じるかもしれません。しかし、実際はそうではありません。モデルは、より大規模なプラットフォームを構成する一つの層にすぎません。モデルを大規模な環境で学習させ、展開し、実行するには、ソフトウェアとハードウェアを結び付ける、包括的な技術スタックが必要です。

最下層にあるのは、CPU、GPU、TPU(Tensor Processing Unit:テンソル処理ユニット)、NPU(Neural Processing Unit:ニューラル処理ユニット)などの専用アクセラレーターといった、コンピューティング処理を担うハードウェアです。通常、これらは高性能なストレージや相互接続技術と組み合わせて使用されます。

ハードウェアの上には、コンテナやオーケストレーションの仕組みがあります。これらによって、単一のサーバーから数千基ものアクセラレーターを備えたクラスターまで、さまざまな環境に処理負荷を分散できます。

さらに、そのコンテナやゲストOSの内部では、ドライバーやランタイムがソフトウェアからハードウェアのリソースを利用できるようにします。また、PyTorchやJAXなどのフレームワークは、開発者がAIモデルを構築し、実行するためのツールを提供します。そして最上層には、AIモデルそのものと、私たちが日常的に利用するアプリケーションがあります。

Linuxは、エンドユーザーからは見えないことも多いものの、長年にわたってAIを支えるインフラの一部として利用されてきました。科学技術計算に用いられるHPCシステムから最新のGPUクラスターまで、またクラウドからエッジまで、LinuxはAIが稼働するソフトウェアおよびハードウェアのエコシステムの大部分を支える基盤となっています。

Linuxはハードウェアに近い層に位置する一方で、その上にある各層が依存する基盤としても機能しています。これにより、ますます多様化するハードウェアのエコシステムに対して、共通の実行環境を提供しています。

ハードウェアからアプリケーションまでの6層で構成される技術スタック

Linux:システムを動かす基盤レイヤー

Linux自体がAIを直接実行するわけではありません。Linuxは、技術スタック全体が利用可能なハードウェアを活用できるようにする、オペレーティング環境を提供します。CPU、GPU、メモリ、ストレージ、ネットワーク、アクセラレーターは、いずれも管理・調整され、その上で動作するソフトウェアから利用できる状態にする必要があります。

これこそが、従来からLinuxカーネルが担ってきた役割です。具体的には、プロセス管理やメモリ管理、ネットワークやストレージの管理、セキュリティと分離、そしてドライバーや専用サブシステムを通じたハードウェアとの連携などです。

AIの分野では、こうした役割がこれまで以上に大規模なものになります。一つの処理だけでも、CPUやGPU、その他のアクセラレーターを同時に使用し、大量のメモリやデータを高速ネットワーク経由でやり取りする場合があります。

Linuxは、多様なハードウェアと、その上に構築されるソフトウェアをつなぐ共通のオペレーティングレイヤーとなります。フレームワークやランタイム、ハードウェアそのものが急速に進化し続けるなかでも、一貫した基盤として機能します。

AIは、コンピューティングシステムの設計方法にも変化をもたらしています。従来のCPUとメモリを中心としたモデルから、複数の異なるコンポーネントが処理を分担するプラットフォームへと移行しつつあります。

たとえば、CPUは汎用的な処理を担当し、GPUは並列処理能力を提供します。また、TPU、NPU、カスタムASIC(特定用途向け集積回路)などの専用アクセラレーターは、特定の機械学習処理をより効率的に実行します。

これは、汎用コンピューティングからヘテロジニアスコンピューティング(異種混合コンピューティング)への移行を意味します。Linuxにとって、これは課題であると同時に大きな機会でもあります。より多様なリソースを管理しながら、ドライバーやランタイム、アプリケーションが、その下にあるハードウェアへアクセスするための共通の仕組みを提供し続ける必要があるからです。

ハードウェア層の上に位置するLinuxレイヤー

課題:ハードウェアとソフトウェアの断片化

専用ハードウェアの普及には、避けられない副作用があります。それが断片化です。

GPU、NPU、その他のアクセラレーターは、それぞれ独自のドライバー、ランタイム、ライブラリ、開発ツールを必要とすることが少なくありません。そのため、あるGPU向けに最適化されたアプリケーションを、別のハードウェアへ簡単に移行できない場合があります。

Linuxはエコシステムに共通のOS基盤を提供しますが、それだけですべての違いを解消できるわけではありません。課題は技術スタックの上位層にも及びます。ハードウェア固有の最適化を損なうことなく、ドライバー、ランタイム、フレームワーク、標準規格のすべてにおいて、より高い移植性を実現する必要があります。

ハードウェアが専門化・多様化するほど、その上に構築されるソフトウェアをオープンかつ相互運用可能なものに保つことが重要になります。

AIがLinux技術者にもたらす新たな機会

AIの成長は、その基盤となるインフラを運用するために必要なスキルにも変化をもたらしています。あらゆるAIモデルの背後には、インストール、設定、セキュリティ対策、監視、保守が必要なシステムが存在します。

これは、Linux技術者にとって大きなチャンスです。システム管理、ネットワーク、ストレージ、コンテナ、自動化、トラブルシューティングといった、これまで培ってきたスキルが、GPUやアクセラレーター、分散処理への理解とともに、AIインフラの運用にも活かされるようになっています。

これは、すべてのシステム管理者が機械学習の専門家になる必要があるという意味ではありません。AIが実験段階から実運用へと移行するなかで、すでに持っているスキルを新しいプラットフォームにも応用できるようにする、ということです。

まとめ

人工知能がコンピューティングプラットフォームへと進化しつつある今、Linuxはすでにその基盤の一部を担っています。AIモデルの学習やHPCに利用される大規模クラスターから、クラウドやエッジのインフラまで、Linuxの役割はAIそのものの知能を生み出すことではありません。AIの構築や実行に必要なリソースを、利用可能かつ管理可能な状態にすることです。

ハードウェアの多様化が進むほど、その役割はさらに重要になります。CPU、GPU、アクセラレーターは今後も変化し続け、それに伴ってランタイムやフレームワークも進化していくでしょう。しかし、安定性、オープン性、柔軟性を備えたOS基盤が必要であることに変わりはありません。

LinuxだけですべてのAIエコシステムにおける断片化を解消することはできません。プロプライエタリなドライバーやベンダー固有の技術スタックは、今後も課題であり続けるでしょう。だからこそ、このように多様性が増す環境において、Linuxが長年培ってきた強みである移植性、オープン性、適応性が、これまで以上に重要になるのです。

AIは今後も進化し、それを支えるハードウェアも変化し続けます。Linuxはこれまでにも、さまざまなコンピューティング環境の変化に適応してきました。AIもまた、その長い歴史に加わる新たな一章にすぎないのです。

<< このシリーズの前の記事を読む | シリーズの最初の記事から読む >>

Author

  • Simone Bertulli

    Simone "Simo" Bertulli is a Cyber Security Expert and a Linux Enterprise Specialist; he started working on Linux systems since 2012, then extending his interest to the whole open source world, also creating a community in the Italian reality. Discovering the potential of open source software and the new opportunities they can create in the workplace is a stimulus for this passion, which brings with it the sustainability of technical solutions and professional skills. In the Cyber Security field he works in a SOC and has collaborated with the Packt publisher on the technical reviews of some video courses about blue team activities. In his spare time he takes technical certifications on various IT topics ("never stop learning" is his motto) and he likes to experiment with new technologies about security and virtualization for SOHO & Enterprise environments.

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です