ML の開発、トレーニング、テスト、およびハイブリッドクラウドへのデプロイ

特長

メリット

JupyterLab に基づくインタラクティブでコラボレーティブなインタフェースにより、探索的データサイエンス、およびモデルのトレーニング、チューニング、提供が可能です。データサイエンティストは、コア AI/ML ライブラリ、広く使用されているフレームワーク、定義済みおよび顧客提供の広範なイメージとワークベンチに継続的にアクセスして、モデルの実験を加速できます。

ユーザーは特定のプロジェクトに必要なモデル開発ファイル、データ接続、その他のアーティファクトを整理できるため、実験を単純化し、コラボレーションを強化できます。

複数のクラスタノードを同時に使用して、予測および生成 AI モデルをより効率的にトレーニングおよびチューニングします。これにより、これ以外の方法では計算が実行不可能なタスクを処理できるスケーラビリティが実現します。

GPU とアクセラレーター

GPU へのセルフサービスでのアクセスが提供されるため、ITOps の担当者は、オンプレミスとクラウドの両方で GPU リソース環境を事前定義できます。これにより、データサイエンティストとアプリケーション開発者はプロジェクトタスクの構成を簡単に選択できます。

データサイエンティストや AI エンジニアは、開発と運用においてモデルを提供およびテストする手順を自動化できます。パイプラインのバージョン管理、追跡、管理が可能なため、ユーザーエラーを削減し、実験と本番環境のワークフローを単純化できます。 

Hugging Face、ONNX、PyTorch、TensorFlow などのプロバイダーやフレームワーク、および vLLM などの一般的な提供ランタイムからのモデルを提供できます。CPU や GPU などのクラスタリソースは、ワークロードのニーズに応じて複数のノードにスケーリングできます。

推論リクエストの成功数と失敗数、推論の平均応答時間、コンピューティングの使用状況などのメトリクスを追跡し、必要に応じてリソースをプロアクティブに調整します。

ドリフト検出

デプロイされた ML モデルの入力データ分布の変化を監視し、モデル推論に使用されるライブデータが、モデルのトレーニングに使用されたデータから大幅に逸脱した場合、それを検出します。

バイアス検出

トレーニングデータに基づいてモデルが公平かつ偏りがないかどうかを監視するツールを提供するだけでなく、実際のデプロイ時の公平性も監視します。

AI ガードレール

ヘイトスピーチ、暴言や不適切な発言、個人を特定できる情報、競合情報、またはその他のドメイン固有の制約を除外します。

モデル評価

LLM モデルの品質に関する重要な情報を提供し、さまざまなタスクにわたる LLM モデルのパフォーマンスをベンチマークします。

モデルレジストリ

登録されたモデルを一元的に表示および管理できる場所を提供します。これによってデータサイエンティストは、予測 AI モデルおよび生成 AI モデル、メタデータ、モデルアーティファクトを共有、バージョン管理、デプロイ、追跡できます。

切断された環境およびエッジ

制限されたネットワーク (多くの場合、ファイアウォールの背後にある) 上での切断されたクラスタのデプロイを単純化し、セキュリティおよび規制コンプライアンスのためにエアギャップデプロイが必要な業界をサポートします。