apt upgradeする度に壊れるNVIDIAドライバを"とりあえず"復旧させる手順 (Ubuntu 22.04 LTS)

apt updateの度に壊れてしまうガラスのハートのNVIDIA Driverを復旧させる手順のまとめです(2024.02.12現在) この記事は根本解決を行いません。私はもう疲れてしまいました。 NVIDIAさんがCUDA12.4でcuda-drivers周りを整理するらしいので、その時なんとかしてくれると信じています。 （参考：[CUDA 12,3 リリースノートの「1.4. Deprecated or Dropped Features」の記載](https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#deprecated-or-dropped-features)） # やること > 1. 既存のNVIDIAの痕跡を全て抹消する。古い痕跡があるとブートしなくなるので入念にころしておく。絶対にころせ。 > 2. nvidia-driver, cuda-toolkit, cuda container toolkit を入れる。ドライバ無しのままリブートすると立ち上がらなくなる。絶対に入れる。 　 # 手順 　 ## ものすごく古いNVIDIAドライバの生き残りがいる場合はこいつを実行 ``` $ sudo /usr/bin/nvidia-uninstall ``` ## 現在のNVIDIA Driverを抹消する　生き残りがいたらブートしなくなるぞ ``` $ sudo apt remove --purge nvidia-* $ sudo apt remove --purge cuda-* ``` > ※ コマンドを実行しているフォルダ内に" cuda-keyring_*.deb"のようなファイルがあると purge cudaが実行できない。その場合は別のディレクトリで実行するとよい 　 ## aptのキャッシュを消せ　なめてると勝手にキャッシュを使って互換性のないバージョンをインストールし始めるぞ ``` $ sudo apt autoremove $ sudo apt autoclean ``` 　 ## NVIDIAの残り香がないか確認する　 ``` $ dpkg -l | grep nvidia-driver $ lsmod | grep nvidia ``` > 生き残りがいたら消せ 　 ## CUDA Toolkitのインストール > [NVIDIA公式 Network Install](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=deb_network) > NVIDIAのCUDA Toolkitのページに書かれている手順に従え　古いバージョンのときに書かれている手順は通用しない > 以下は2024.02.12現在のNetwork Installerに書かれている手順を元にした手順です ``` $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb $ sudo dpkg -i cuda-keyring_1.1-1_all.deb $ sudo apt-get update $ sudo apt-get -y install cuda-toolkit-12-1 ``` > リンク先の手順では12-3になっていますが、今回は12-1を入れています。12.x番台は下位互換性があるという話ですがいまいち信用できない。 　 ## NVIDIA Driverのインストール > グラフィックドライバは先ほどのページに記載されているcuda-driversでインストールするのが楽……なのですが、UbuntuのPPAで配布されているバージョンとNVIDIAが提供しているドライバのバージョンが不一致になっていることがあり、両者の配布バージョンに差があるタイミングでドライバをインストールした場合、CUDAが必要とするドライバを無視してUbuntu側のPPAで配布されているバージョンが無理やりねじ込まれることで、apt upgradeする度にドライバが壊れる……らしいです 　 > →　じゃあUbuntuのPPAから配布されているドライバを使えばいい と思うじゃないですか > →　あいつはあいつでCUDAとの食い合わせが悪くて動作しないことがある > →　なんなんだよこれ　と思いつつ以下を実行します ``` $ ubuntu-drivers devices # 出てきた中でcuda-driversに含まれているバージョン(545)よりも高いものを選ぶ $ sudo apt install nvidia-driver-550 ``` 　 ## CUDA Container Toolkitのインストール > 上述の理由から実際にインストールする際は公式を参照すること > [GitHub](https://github.com/NVIDIA/nvidia-container-toolkit) > [NVIDIA公式](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installing-with-apt) ``` $ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \ sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list $ sudo apt-get update $ sudo apt-get install -y nvidia-container-toolkit ``` 　 ## ~/.bashrcにCUDAの環境変数を追記する > バージョンが変わるとパスが変わるので注意 > 自分用のシェルスクリプトに書いた内容そのままなのでcatを使っていますが、vimなどを使って追記してもいいです ``` $ cat > /home/ユーザー名/.bashrc <<EOF export PATH=/usr/local/cuda-12.1/bin:$PATH+:${PATH} export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH+:${LD_LIBRARY_PATH} EOF ``` 　 > .bashrcの再読み込み ``` $ source ~/.bashrc ``` 　 ## インストールされているかどうか、充血するくらい目を見開いて確認する ``` $ nvidia-smi $ nvcc -V ``` ## ドライバが自動更新されないように　二度と壊されないようにする　 ``` $ sudo apt-mark hold nvidia* $ sudo apt-mark hold libnvidia* ``` > ※ ドライバを更新する必要があるときはunholdで解除する 　 ## 祈りながら再起動する ``` $ sudo reboot ``` 　 ## あなたのNVIDIAドライバが、二度と壊されませんように。 　 　 ## あなたのNVIDIAドライバが、よりよきものになりますように。 　 　 ## あなたのブート画面と心が、黒い色に染まりませんように。 ## せめてGRUBの輝く光が、あなたの目に届きますように。 　 　 私から、祈りを捧げて、この記事を締めくくります。 　 　 　 # ものすごく参考にさせて頂いた記事（本当に） > [生きろ NVIDIA ドライバ](https://zenn.dev/wsuzume/articles/d300b479f7a1ba) > [nvidia-smiが動かない](https://zenn.dev/yutashx/scraps/861e4245b3d9c9) > [nvidia-smiでFailed to initialize NVML: Driver/library version mismatchエラーの解決ログ](https://qiita.com/yusuke_s_yusuke/items/b4ffc10a9921fd170c92) > [Ubuntu で nvidia-driver の自動アップデートの無効化メモ](https://zenn.dev/syoyo/articles/14f6a99fc2339f) > ["Failed to initialize NVML" を再起動せずに解決する方法](https://zenn.dev/190ikp/articles/update-cuda-driver-without-rebooting#%E6%B3%A8%E6%84%8F%E7%82%B9) 　

リモートデスクトップ環境を構築したい Part.1 SSH編 (Ubuntu 22.04 LTS)

お外でお家とか会社だとかのPCにアクセスしたいな　と思ったから やり方をここにまとめておきます ## 前提 > ・VPN等で接続先サーバーのIPに到達できる状態であること > ・それなりの気合 ## 今回の構成 > ホスト(Ubuntu22.04) ←→ VPN ←→ クライアント(Windows) > VPN上にあるリバースプロキシからそれぞれのIPを取得できる構成になっています # やること > Ubuntu 22.04 標準搭載のRDPが一番早いのでそれを第一選択にしたい > が、一度ログインしてからでないとRDPが繋がらないのでログインだけ[xrdp](https://www.xrdp.org/)を使う > また、RDP中にログアウトしないまま同一セッションでログインすると画面が表示されなくなる対策のためにSSHを設定しておく > 長くなりそうなので今回はSSH編。 > VS Codeから使うだけとか、CLIだけで済む用事ならSSHだけ設定しておけば良いと思います # 1. Host側でopensshのインストール > bash ```bash {iscopy=true} $ sudo apt install openssh-server ``` # 2. Host側でsshの設定をいじる > 初期設定だとセキュリティガバガバノーガード戦法のまま全世界に挑戦状を叩きつけることになります > 私はチキンなので設定を変えておきます > (今回はviで編集していますが、GUIが使える環境ならgeditで良いです) > bash ```bash {iscopy=true} $ cd /etc/ssh/ $ sudo vi /etc/ssh/sshd_config ``` ## ポート変更 > 22番ポートに総当たり攻撃してくる輩が存在するので、コメントアウトして接続先のポートを変更します > [このあたり](https://ja.wikipedia.org/wiki/TCP%E3%82%84UDP%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%E3%83%9D%E3%83%BC%E3%83%88%E7%95%AA%E5%8F%B7%E3%81%AE%E4%B8%80%E8%A6%A7)を参考にして、他のサービスで使われていないポートを適当に選定（例では10022にしています） > vi ```sshd_config {iscopy=true} #port 22 これをコメントアウトして以下のように書き換える port 10022 ``` ## パスワード認証を無効化 > パスワード認証は[辞書攻撃](https://ja.wikipedia.org/wiki/%E8%BE%9E%E6%9B%B8%E6%94%BB%E6%92%83)だとか[総当たり攻撃](https://ja.wikipedia.org/wiki/%E7%B7%8F%E5%BD%93%E3%81%9F%E3%82%8A%E6%94%BB%E6%92%83)を食らうので公開鍵方式でしか認証できないように設定する > vi ```sshd_config {iscopy=true} #PasswordAuthentication yes これをコメントアウトして以下のように書き換える PasswordAuthentication no ``` ## Rootログイン無効 > Rootでログインしなきゃいけないようなことはローカル環境でやりましょう > sudoで十分です > vi ```sshd_config {iscopy=true} #PermitRootLogin no これをコメントアウトして以下のように書き換える PermitRootLogin no ``` ## タイムアウトの設定 > ぷちぷち接続が切れるのがいやなので > vi ```sshd_config {iscopy=true} #ClientAliveInterval 0 #ClientAliveCountMax 3 ClientAliveInterval 60 ClientAliveCountMax 3 ``` ## sshd_configの整合性チェック > 編集時におてんばなミスをしていなければ通るはず > bash ```bash {iscopy=true} $ sudo sshd -t -f sshd_config ``` ## 3. 公開鍵の設定 > クライアント（接続元）とホスト（接続先）の双方で作業が必要です。 > まずクライアント側（接続元）の公開鍵を作成します。 ## クライアント側(Windows) > 公開鍵の作成 > PowerShell ``` > ssh-keygen -t ed25519 ``` > 初期設定ではssh-agentが立ち上がっていないので管理者権限でそのあたりを設定する > PowerShell(管理者モード) ``` # ssh-agentサービスを設定 > Get-Service ssh-agent | Set-Service -StartupType Automatic > Start-Service ssh-agent # Runnningが帰ってくればOK > Get-Service ssh-agent # ssh-agentに鍵を登録 > ssh-add $env:USERPROFILE\.ssh\id_ed25519 ``` ## ホスト側(Ubuntu) > クライアントの公開鍵の内容（ssh-ed25519～User@ComputerName）を/home/ユーザー名/.ssh/authorized_keysに追記（なければつくる） > 複数のクライアントから接続する必要があるときは改行して追記 > bash(ホスト側) ```bash $ cd /home/ユーザー名/.ssh # authorized_keysを作ったり追記したりした後は読み書きの権限をユーザーのみに限定しておかないと怒られる $ chmod 600 authorized_keys ``` # 4. ホスト側でSSHのサービスを開始する > 上の設定が全部終わったら満を持してsshサービスを起動します（わくわく） > bash(ホスト側) ```bash $ sudo systemctl restart sshd.service ``` # 5. クライアントからSSHに接続 > あとはクライアントから接続できれば成功です。わくわく。 > PowerShellでもbashでも同じコマンドでつながるはずです > bash ```bash $ ssh -p 10022 host-username@xxx.xxx.xxx.xxx ``` > 最初の接続時にはFingerprint合ってる？と聞かれるので、問題なければyesと答えてください # 6. VS Codeから繋ぐ > [Remote Development](https://marketplace.visualstudio.com/items?itemName=ms-vscode-remote.vscode-remote-extensionpack)拡張機能の中の[Remote-SSH](https://marketplace.visualstudio.com/items?itemName=ms-vscode-remote.remote-ssh)が入っていればVS CodeからSSH接続ができます <div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZNJDz5p1URYVd2ne-22PMpLqOTdcuxw7d8j357ToEoo1HR2t-gm9TKSMUuwcda9-YkNPiAgGovNAhHTI4disVzosMw1OswmxjBr7UIs6G3_XnVyH5BqZbU6hANuKgfax1ot8feoEP8Apt1hGpUymgoaW6pYLwHmLpWbtqnhoBc34lAU5nW6hHpyCJ7iNx/s1410/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88%202024-02-11%20003204.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="400" data-original-height="559" data-original-width="1410" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZNJDz5p1URYVd2ne-22PMpLqOTdcuxw7d8j357ToEoo1HR2t-gm9TKSMUuwcda9-YkNPiAgGovNAhHTI4disVzosMw1OswmxjBr7UIs6G3_XnVyH5BqZbU6hANuKgfax1ot8feoEP8Apt1hGpUymgoaW6pYLwHmLpWbtqnhoBc34lAU5nW6hHpyCJ7iNx/s400/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88%202024-02-11%20003204.png"/></a></div> > 「SSHファイルを選択」と言われるのでとりあえず「C:\Users\ユーザー名\.ssh\config」を選んで以下のように追記します > VS Code ```VSCode # Read more about SSH config files: https://linux.die.net/man/5/ssh_config Host hogehoge(接続名) HostName xxx.xxx.xxx.xxx (ホストのIP or ホスト名) User host-username(ホスト側ユーザ名) Port 10022(設定したポート番号) UserKnownHostsFile /dev/null PreferredAuthentications publickey PasswordAuthentication no IdentityFile /Users/ユーザ名/.ssh/id_ed25519.pub IdentitiesOnly yes LogLevel FATAL ServerAliveInterval 60 ``` > あとは接続するだけ 　 <div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiAZhyKYiAF3-xbNv4y0qju7LvdTbCd6AXRixFUKVtyEHbkqglDgC04K0UEtveYgHPBLbVTuYcOF58oAlPVVoucnExScCv55w-oOXrz-U49eZ6qvuX4CupikermKe85sQZI9dH9X-GfVLTEknWHqsPu4LmdXLi_34Ap_Z9fCkLv-nlmftXeVUJYjiLhmhAB/s1063/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88%202024-02-11%20005142.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="400" data-original-height="535" data-original-width="1063" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiAZhyKYiAF3-xbNv4y0qju7LvdTbCd6AXRixFUKVtyEHbkqglDgC04K0UEtveYgHPBLbVTuYcOF58oAlPVVoucnExScCv55w-oOXrz-U49eZ6qvuX4CupikermKe85sQZI9dH9X-GfVLTEknWHqsPu4LmdXLi_34Ap_Z9fCkLv-nlmftXeVUJYjiLhmhAB/s400/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88%202024-02-11%20005142.png"/></a></div> > またVSCodeでSSHを使う際、ファイル監視を有効にしているとssh接続の際にサーバーに負荷がかかるらしいので、 > 設定→Watcher Excludeのパターンに「**」を追加しておく > 参考：[【VSCode使用者注意】サーバーリソース食い散らかすﾏﾝから解放される唯一の方法](https://blog.masuyoshi.com/%E3%80%90vscode%E4%BD%BF%E7%94%A8%E8%80%85%E6%B3%A8%E6%84%8F%E3%80%91%E3%82%B5%E3%83%BC%E3%83%90%E3%83%BC%E3%83%AA%E3%82%BD%E3%83%BC%E3%82%B9%E9%A3%9F%E3%81%84%E6%95%A3%E3%82%89%E3%81%8B%E3%81%99/) 　 　 　　 # おまけ ## 接続元がUbuntuである場合 > 接続元がssh-copy-idコマンドを使える場合はホスト側でauthorized_keysを編集する必要がなくてべんり > bash(クライアント側) ```bash ssh-keygen -t ed25519 ssh-copy-id -i ~/.ssh/id_ed25519.pub -p 10022 host-username@xxx.xxx.xxx.xxx ``` ## RDP接続時に画面が表示されない場合 > 同じユーザーで他のログインセッションが立ち上がっている場合、他の端末からは画面が見えなくなる。 > 実機でログインされている場合や、RDP(Xrdp含む)をログアウトせずに他のセッションを繋いだときなどに発生する。 > その場合でもSSH接続は可能なので、上記の症状が発生したら適当な端末から以下のコマンドを送信してGUIのセッションをころしてあげると良い(GNOMEの場合) > bash ```bash $ pkill gnome-session ``` # 参考 > [Ubuntu 22.04サーバー構築入門](https://zenn.dev/uchidaryo/books/ubuntu-2204-server-book/viewer/openssh) > [SSHサーバのセキュリティを強化したい](https://www.st.itc.keio.ac.jp/ja/faq_security_sshdconfig_st.html) > [sshのセキュリティ設定](https://qiita.com/HirumaT/items/61224dcbf34cd18ec025) > [Linux サーバー：SSH 設定（2021年2月更新）](https://zenn.dev/wsuzume/articles/26b26106c3925e) > [SSH接続でのタイムアウト対策](https://zenn.dev/syommy_program/articles/c7bd0d0daa156c) > [Remote Development using SSH](https://code.visualstudio.com/docs/remote/ssh) > [Visual Studio Code で Remote SSH する。](https://qiita.com/nlog2n2/items/1d1358f6913249f3e186)

CUDAとcuDNNの入れ方・バージョンの切り替え方（Ubuntu22.04）

この記事はなに？

・機械学習関連ソフトは、使っているCUDAのバージョンがまちまちである

・CUDAは後方依存性が無いことが多い（NVCCというコンパイラを使う場合に顕著）

・つまり環境を作り直す機会が多くてだるい

・うろ覚えでやっていたため、せめてそろそろまとめたほうが良いと思ったので備忘録

・Bloggerではマークダウンが使えないのだけれど、使えるようにしたいなあと思いながらマークダウンで書いている

前提

・Ubuntu22.04

・NVidiaアカウントを持っていること

・へこたれない強さを持っていること

手順

1. CUDAとNVidiaドライバのアンインストール

考えるよりも全部消したほうが早い（脳筋メソッド）

```bash

sudo apt --purge remove nvidia*

sudo apt --purge remove cuda*

sudo apt --purge remove cudnn*

sudo apt --purge remove libnvidia*

sudo apt --purge remove libcuda*

sudo apt --purge remove libcudnn*

sudo apt autoremove

sudo apt autoclean

sudo apt update

sudo rm -rf /usr/local/cuda*

```

2. グラフィックドライバを入れ直す

こいつを忘れると起動しなくなる

```bash

sudo add-apt-repository ppa:graphics-drivers/ppa

sudo apt update

ubuntu-drivers devices

sudo apt install nvidia-driver-（適当なバージョン）

```

3. 再起動

お茶の準備をしましょうね

4. CUDAを入れる

ダウンロード先：https://developer.nvidia.com/cuda-downloads

```bash

wget https://developer.download.nvidia.com/compute/cuda/12.2.1/local_installers/cuda*_linux.run 

sudo sh cuda_*_linux.run

 

```

クソ長EULAのあとに「accept」を入力すると進む

（確認のための入力画面がたまに表示されないことがあるけれど、入力してEnterすれば進む）

オプション画面で、CUDAだけのインストールにしておく。

グラフィックドライバの[X]は消しておく。 

ターミナルの標準出力に「環境変数通しとけよオラァ（意訳）」というコメントが出てくるので、そのとおりによしなにやる。

例はCUDA11.8のインストール後の環境変数

```~/.bashrc

export PATH=HOME/.local/bin:$PATH+:${PATH}

export PATH=/usr/local/cuda-11.8/bin:$PATH+:${PATH}

export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH+:${LD_LIBRARY_PATH}

export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH+:${LD_LIBRARY_PATH}

export LD_LIBRARY_PATH=/usr/lib/cuda/include:$LD_LIBRARY_PATH+:${LD_LIBRARY_PATH} 

```

5. cuDNNを入れる 

https://developer.nvidia.com/rdp/cudnn-download

https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html

適切なバージョンの.debファイルを落としてきて、

```bash

sudo dpkg -i cudnn*.deb

#キーリングになんか追加しろって言われるので、その操作(cp )をした後、もう一回

sudo dpkg -i cudnn*.deb

sudo apt update

sudo apt install libcudnn8 libcudnn8-dev -y

 

sudo apt upgrade

```

6. (必要な場合) NVidiaDockerを入れ直す

参考：

https://developer.nvidia.com/blog/updating-the-cuda-linux-gpg-repository-key/

```bash

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.0-1_all.deb

sudo dpkg -i cuda-keyring_1.0-1_all.deb

distribution="ubuntu22.04" \

      && curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \

      && curl -s -L https://nvidia.github.io/libnvidia-container/experimental/$distribution/libnvidia-container.list | \

         sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \

         sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

#ここでエラーが起きたら、etc/apt/sources.d/にあるnvidia* をsudoでrmする　古いリポジトリが悪さをするため

sudo apt update

sudo apt install -y nvidia-docker2

#https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html#docker

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

sudo nvidia-ctk runtime configure --runtime=docker

sudo systemctl restart docker

```

ざっくり、こんな感じでいけるはず。

まったり、お茶をのみながら、やっていこうね。