YOLOv8のインストール
インスタンスセグメンテーションを試すために、まずはYOLOv8をインストールしてみます。
YOLOv8インストール（CPU）
CPUを使う場合のインストールは、ドキュメントにある通りPython（3.8以上でpip導入済み）がインストールされている環境で
pip install ultralytics
を実行するだけです。
インストールが完了すると「yolo」コマンドが使えるようになるので、まずはドキュメント通り物体検出を行うテストコマンド
yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg'
を実行してみます。
正常にインストールされていれば、YOLOv8が使用するPyTorchのバージョンとデバイス（CPU/GPUなど）が表示され、処理結果がYOLOv8の作業ディレクトリ「runs」（最初にインストールを行った時のカレントディレクトリの下に作られる）に保存されます。
runs/detect/predict内に物体検出の結果が保存されているので、確認したら次にインスタンスセグメンテーションを試してみましょう。
yolo segment predict model=yolov8n-seg.pt source='https://ultralytics.com/images/bus.jpg'
結果はruns/segment/predictに保存されます。
YOLOv8インストール（GPU）
YOLOv8の処理にGPUを使用する場合は、YOLOv8の前に使用する環境に合わせてPyTorchをインストールしておきます。
CUDAなどGPU環境に合わせたPyTorchをインストールした後にpip install ultralyticsを実行するとGPUを使用する状態でインストールされるので、yoloコマンドの出力（PyTorchバージョン/デバイス表示）を確認。