ラベル PC関連 の投稿を表示しています。すべての投稿を表示

2024年2月12日月曜日

apt upgradeする度に壊れるNVIDIAドライバを"とりあえず"復旧させる手順 (Ubuntu 22.04 LTS)

apt updateの度に壊れてしまうガラスのハートのNVIDIA Driverを復旧させる手順のまとめです(2024.02.12現在)  
  
  この記事は根本解決を行いません。私はもう疲れてしまいました。  
  NVIDIAさんがCUDA12.4でcuda-drivers周りを整理するらしいので、その時なんとかしてくれると信じています。
  （参考：[CUDA 12,3 リリースノートの「1.4. Deprecated or Dropped Features」の記載](https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html#deprecated-or-dropped-features)）
  
  # やること
  > 1. 既存のNVIDIAの痕跡を全て抹消する。古い痕跡があるとブートしなくなるので入念にころしておく。絶対にころせ。
  > 2. nvidia-driver, cuda-toolkit, cuda container toolkit を入れる。ドライバ無しのままリブートすると立ち上がらなくなる。絶対に入れる。
  　  
  
  # 手順
  　
  ## ものすごく古いNVIDIAドライバの生き残りがいる場合はこいつを実行  
  ```
      $ sudo /usr/bin/nvidia-uninstall
  ```
  
  ## 現在のNVIDIA Driverを抹消する　生き残りがいたらブートしなくなるぞ  
  ```
      $ sudo apt remove --purge nvidia-*
      $ sudo apt remove --purge cuda-*
  ```
  > ※ コマンドを実行しているフォルダ内に" cuda-keyring_*.deb"のようなファイルがあると purge cudaが実行できない。その場合は別のディレクトリで実行するとよい  
  　  
  
  ## aptのキャッシュを消せ　なめてると勝手にキャッシュを使って互換性のないバージョンをインストールし始めるぞ
  ```
      $ sudo apt autoremove
      $ sudo apt autoclean
  ```
  　  
  
  ## NVIDIAの残り香がないか確認する　
   
  ```
      $ dpkg -l | grep nvidia-driver
      $ lsmod | grep nvidia
  ```
  > 生き残りがいたら消せ 
  　  
  
  ## CUDA Toolkitのインストール  
  > [NVIDIA公式 Network Install](https://developer.nvidia.com/cuda-downloads?target_os=Linux&target_arch=x86_64&Distribution=Ubuntu&target_version=22.04&target_type=deb_network)  
  > NVIDIAのCUDA Toolkitのページに書かれている手順に従え　古いバージョンのときに書かれている手順は通用しない
  
  
  > 以下は2024.02.12現在のNetwork Installerに書かれている手順を元にした手順です
  ```
      $ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb
      $ sudo dpkg -i cuda-keyring_1.1-1_all.deb
      $ sudo apt-get update
      $ sudo apt-get -y install cuda-toolkit-12-1
  ```
  > リンク先の手順では12-3になっていますが、今回は12-1を入れています。12.x番台は下位互換性があるという話ですがいまいち信用できない。
  　  
  
  ## NVIDIA Driverのインストール  
  > グラフィックドライバは先ほどのページに記載されているcuda-driversでインストールするのが楽……なのですが、UbuntuのPPAで配布されているバージョンとNVIDIAが提供しているドライバのバージョンが不一致になっていることがあり、両者の配布バージョンに差があるタイミングでドライバをインストールした場合、CUDAが必要とするドライバを無視してUbuntu側のPPAで配布されているバージョンが無理やりねじ込まれることで、apt upgradeする度にドライバが壊れる……らしいです  
  　  
  > →　じゃあUbuntuのPPAから配布されているドライバを使えばいい  と思うじゃないですか  
  > →　あいつはあいつでCUDAとの食い合わせが悪くて動作しないことがある  
  > →　なんなんだよこれ　と思いつつ以下を実行します  
  
  ```
      $ ubuntu-drivers devices
  
      # 出てきた中でcuda-driversに含まれているバージョン(545)よりも高いものを選ぶ
      $ sudo apt install nvidia-driver-550
  ```

## CUDA Container Toolkitのインストール
    
  > 上述の理由から実際にインストールする際は公式を参照すること  
  > [GitHub](https://github.com/NVIDIA/nvidia-container-toolkit)  
  > [NVIDIA公式](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installing-with-apt)  
  ```
      $ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
      $ sudo apt-get update
      $ sudo apt-get install -y nvidia-container-toolkit
  ```
  　  
  
  ## ~/.bashrcにCUDAの環境変数を追記する  
  > バージョンが変わるとパスが変わるので注意  
  > 自分用のシェルスクリプトに書いた内容そのままなのでcatを使っていますが、vimなどを使って追記してもいいです
  ```
      $ cat > /home/ユーザー名/.bashrc <<EOF
      export PATH=/usr/local/cuda-12.1/bin:$PATH+:${PATH}
      export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH+:${LD_LIBRARY_PATH}
      EOF
  ```
  　  
  > .bashrcの再読み込み
  ```
      $ source ~/.bashrc 
  ```
  　  
  
  ## インストールされているかどうか、充血するくらい目を見開いて確認する
  ```
      $ nvidia-smi
      $ nvcc -V
  ```
  
  ## ドライバが自動更新されないように　二度と壊されないようにする　
  ```
      $ sudo apt-mark hold nvidia*
      $ sudo apt-mark hold libnvidia*
  ```
  
  > ※ ドライバを更新する必要があるときはunholdで解除する
  　  
  ## 祈りながら再起動する
  ```
      $ sudo reboot
  ```

## あなたのNVIDIAドライバが、二度と壊されませんように。  
  　  
  　  
  ## あなたのNVIDIAドライバが、よりよきものになりますように。  
  　  
  　  
  ## あなたのブート画面と心が、黒い色に染まりませんように。  
  ## せめてGRUBの輝く光が、あなたの目に届きますように。  
  　  
  　  
  私から、祈りを捧げて、この記事を締めくくります。  
  　  
  　  
  　  
  
  # ものすごく参考にさせて頂いた記事（本当に）  
  > [生きろ NVIDIA ドライバ](https://zenn.dev/wsuzume/articles/d300b479f7a1ba)  
  > [nvidia-smiが動かない](https://zenn.dev/yutashx/scraps/861e4245b3d9c9)  
  > [nvidia-smiでFailed to initialize NVML: Driver/library version mismatchエラーの解決ログ](https://qiita.com/yusuke_s_yusuke/items/b4ffc10a9921fd170c92)  
  > [Ubuntu で nvidia-driver の自動アップデートの無効化メモ](https://zenn.dev/syoyo/articles/14f6a99fc2339f)  
  > ["Failed to initialize NVML" を再起動せずに解決する方法](https://zenn.dev/190ikp/articles/update-cuda-driver-without-rebooting#%E6%B3%A8%E6%84%8F%E7%82%B9)

2024年2月11日日曜日

リモートデスクトップ環境を構築したい Part.1 SSH編 (Ubuntu 22.04 LTS)

お外でお家とか会社だとかのPCにアクセスしたいな　と思ったから  
  やり方をここにまとめておきます

## 前提  
    
> ・VPN等で接続先サーバーのIPに到達できる状態であること  
> ・それなりの気合    
    
    
  
## 今回の構成  
    
> ホスト(Ubuntu22.04) ←→ VPN ←→ クライアント(Windows)
      
> VPN上にあるリバースプロキシからそれぞれのIPを取得できる構成になっています
      
    
  
# やること  
    
> Ubuntu 22.04 標準搭載のRDPが一番早いのでそれを第一選択にしたい  
    
> が、一度ログインしてからでないとRDPが繋がらないのでログインだけ[xrdp](https://www.xrdp.org/)を使う  
> また、RDP中にログアウトしないまま同一セッションでログインすると画面が表示されなくなる対策のためにSSHを設定しておく    
  
    
> 長くなりそうなので今回はSSH編。  
    
> VS Codeから使うだけとか、CLIだけで済む用事ならSSHだけ設定しておけば良いと思います    
    
    
  
# 1. Host側でopensshのインストール  
    
> bash
```bash {iscopy=true}
      $ sudo apt install openssh-server
```
    
    
# 2. Host側でsshの設定をいじる    
> 初期設定だとセキュリティガバガバノーガード戦法のまま全世界に挑戦状を叩きつけることになります  
> 私はチキンなので設定を変えておきます  
> (今回はviで編集していますが、GUIが使える環境ならgeditで良いです)  
    
> bash
```bash {iscopy=true}
      $ cd /etc/ssh/
      $ sudo vi /etc/ssh/sshd_config
```
    
    
## ポート変更    
> 22番ポートに総当たり攻撃してくる輩が存在するので、コメントアウトして接続先のポートを変更します  
> [このあたり](https://ja.wikipedia.org/wiki/TCP%E3%82%84UDP%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%E3%83%9D%E3%83%BC%E3%83%88%E7%95%AA%E5%8F%B7%E3%81%AE%E4%B8%80%E8%A6%A7)を参考にして、他のサービスで使われていないポートを適当に選定（例では10022にしています）
  
> vi
```sshd_config {iscopy=true}
      #port 22 これをコメントアウトして以下のように書き換える
      port 10022  
```  
      
    
## パスワード認証を無効化    
> パスワード認証は[辞書攻撃](https://ja.wikipedia.org/wiki/%E8%BE%9E%E6%9B%B8%E6%94%BB%E6%92%83)だとか[総当たり攻撃](https://ja.wikipedia.org/wiki/%E7%B7%8F%E5%BD%93%E3%81%9F%E3%82%8A%E6%94%BB%E6%92%83)を食らうので公開鍵方式でしか認証できないように設定する  
  
> vi
```sshd_config {iscopy=true}
      #PasswordAuthentication yes これをコメントアウトして以下のように書き換える
      PasswordAuthentication no
```  
      
    
## Rootログイン無効    
    
> Rootでログインしなきゃいけないようなことはローカル環境でやりましょう  
> sudoで十分です  
    
> vi
```sshd_config {iscopy=true}
      #PermitRootLogin no これをコメントアウトして以下のように書き換える
      PermitRootLogin no
```
  
## タイムアウトの設定    
    
> ぷちぷち接続が切れるのがいやなので
    
> vi
```sshd_config {iscopy=true}
      #ClientAliveInterval 0
      #ClientAliveCountMax 3
      ClientAliveInterval 60
      ClientAliveCountMax 3
```

## sshd_configの整合性チェック  
    
> 編集時におてんばなミスをしていなければ通るはず

> bash
```bash {iscopy=true}
      $ sudo sshd -t -f sshd_config
```
    
  
## 3. 公開鍵の設定    
    
> クライアント（接続元）とホスト（接続先）の双方で作業が必要です。  
> まずクライアント側（接続元）の公開鍵を作成します。    
  
## クライアント側(Windows)
    
> 公開鍵の作成

> PowerShell  
```
      > ssh-keygen -t ed25519
```

> 初期設定ではssh-agentが立ち上がっていないので管理者権限でそのあたりを設定する
    
> PowerShell(管理者モード)
```
      # ssh-agentサービスを設定
      > Get-Service ssh-agent | Set-Service -StartupType Automatic
      > Start-Service ssh-agent

# Runnningが帰ってくればOK
      > Get-Service ssh-agent

# ssh-agentに鍵を登録
      > ssh-add $env:USERPROFILE\.ssh\id_ed25519
```
    
    
## ホスト側(Ubuntu)    
> クライアントの公開鍵の内容（ssh-ed25519～User@ComputerName）を/home/ユーザー名/.ssh/authorized_keysに追記（なければつくる）  
> 複数のクライアントから接続する必要があるときは改行して追記

> bash(ホスト側)
```bash
      $ cd /home/ユーザー名/.ssh

# authorized_keysを作ったり追記したりした後は読み書きの権限をユーザーのみに限定しておかないと怒られる
      $ chmod 600 authorized_keys
```
    
  
# 4. ホスト側でSSHのサービスを開始する  
    
> 上の設定が全部終わったら満を持してsshサービスを起動します（わくわく）

> bash(ホスト側)
```bash
      $ sudo systemctl restart sshd.service
```
    
  
# 5. クライアントからSSHに接続  
    
> あとはクライアントから接続できれば成功です。わくわく。
    
> PowerShellでもbashでも同じコマンドでつながるはずです

> bash
```bash
      $ ssh -p 10022 host-username@xxx.xxx.xxx.xxx
```
    
> 最初の接続時にはFingerprint合ってる？と聞かれるので、問題なければyesと答えてください
    
    
# 6. VS Codeから繋ぐ    
    
> [Remote Development](https://marketplace.visualstudio.com/items?itemName=ms-vscode-remote.vscode-remote-extensionpack)拡張機能の中の[Remote-SSH](https://marketplace.visualstudio.com/items?itemName=ms-vscode-remote.remote-ssh)が入っていればVS CodeからSSH接続ができます  
    
  <div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZNJDz5p1URYVd2ne-22PMpLqOTdcuxw7d8j357ToEoo1HR2t-gm9TKSMUuwcda9-YkNPiAgGovNAhHTI4disVzosMw1OswmxjBr7UIs6G3_XnVyH5BqZbU6hANuKgfax1ot8feoEP8Apt1hGpUymgoaW6pYLwHmLpWbtqnhoBc34lAU5nW6hHpyCJ7iNx/s1410/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88%202024-02-11%20003204.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="400" data-original-height="559" data-original-width="1410" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhZNJDz5p1URYVd2ne-22PMpLqOTdcuxw7d8j357ToEoo1HR2t-gm9TKSMUuwcda9-YkNPiAgGovNAhHTI4disVzosMw1OswmxjBr7UIs6G3_XnVyH5BqZbU6hANuKgfax1ot8feoEP8Apt1hGpUymgoaW6pYLwHmLpWbtqnhoBc34lAU5nW6hHpyCJ7iNx/s400/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88%202024-02-11%20003204.png"/></a></div>
  
> 「SSHファイルを選択」と言われるのでとりあえず「C:\Users\ユーザー名\.ssh\config」を選んで以下のように追記します  
  
> VS Code	
```VSCode
      # Read more about SSH config files: https://linux.die.net/man/5/ssh_config
      Host hogehoge(接続名)
          HostName xxx.xxx.xxx.xxx (ホストのIP or ホスト名)
          User host-username(ホスト側ユーザ名)
          Port 10022(設定したポート番号)
          UserKnownHostsFile /dev/null
          PreferredAuthentications publickey
          PasswordAuthentication no
          IdentityFile /Users/ユーザ名/.ssh/id_ed25519.pub
          IdentitiesOnly yes
          LogLevel FATAL
          ServerAliveInterval 60
```

> あとは接続するだけ  
  　  
  
<div class="separator" style="clear: both;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiAZhyKYiAF3-xbNv4y0qju7LvdTbCd6AXRixFUKVtyEHbkqglDgC04K0UEtveYgHPBLbVTuYcOF58oAlPVVoucnExScCv55w-oOXrz-U49eZ6qvuX4CupikermKe85sQZI9dH9X-GfVLTEknWHqsPu4LmdXLi_34Ap_Z9fCkLv-nlmftXeVUJYjiLhmhAB/s1063/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88%202024-02-11%20005142.png" style="display: block; padding: 1em 0; text-align: center; "><img alt="" border="0" width="400" data-original-height="535" data-original-width="1063" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiAZhyKYiAF3-xbNv4y0qju7LvdTbCd6AXRixFUKVtyEHbkqglDgC04K0UEtveYgHPBLbVTuYcOF58oAlPVVoucnExScCv55w-oOXrz-U49eZ6qvuX4CupikermKe85sQZI9dH9X-GfVLTEknWHqsPu4LmdXLi_34Ap_Z9fCkLv-nlmftXeVUJYjiLhmhAB/s400/%E3%82%B9%E3%82%AF%E3%83%AA%E3%83%BC%E3%83%B3%E3%82%B7%E3%83%A7%E3%83%83%E3%83%88%202024-02-11%20005142.png"/></a></div>
  
> またVSCodeでSSHを使う際、ファイル監視を有効にしているとssh接続の際にサーバーに負荷がかかるらしいので、  
> 設定→Watcher Excludeのパターンに「**」を追加しておく  
    
  
> 参考：[【VSCode使用者注意】サーバーリソース食い散らかすﾏﾝから解放される唯一の方法](https://blog.masuyoshi.com/%E3%80%90vscode%E4%BD%BF%E7%94%A8%E8%80%85%E6%B3%A8%E6%84%8F%E3%80%91%E3%82%B5%E3%83%BC%E3%83%90%E3%83%BC%E3%83%AA%E3%82%BD%E3%83%BC%E3%82%B9%E9%A3%9F%E3%81%84%E6%95%A3%E3%82%89%E3%81%8B%E3%81%99/)
  　  
    　  
    
  　　  
# おまけ    
     
    
## 接続元がUbuntuである場合    
    
> 接続元がssh-copy-idコマンドを使える場合はホスト側でauthorized_keysを編集する必要がなくてべんり  
    
> bash(クライアント側)
```bash
      ssh-keygen -t ed25519
      ssh-copy-id -i ~/.ssh/id_ed25519.pub -p 10022 host-username@xxx.xxx.xxx.xxx
```
    
## RDP接続時に画面が表示されない場合
    
> 同じユーザーで他のログインセッションが立ち上がっている場合、他の端末からは画面が見えなくなる。  
> 実機でログインされている場合や、RDP(Xrdp含む)をログアウトせずに他のセッションを繋いだときなどに発生する。  
    
> その場合でもSSH接続は可能なので、上記の症状が発生したら適当な端末から以下のコマンドを送信してGUIのセッションをころしてあげると良い(GNOMEの場合)  
    
> bash
```bash
      $ pkill gnome-session
```
    
    
    
# 参考  
> [Ubuntu 22.04サーバー構築入門](https://zenn.dev/uchidaryo/books/ubuntu-2204-server-book/viewer/openssh)   
> [SSHサーバのセキュリティを強化したい](https://www.st.itc.keio.ac.jp/ja/faq_security_sshdconfig_st.html)    
> [sshのセキュリティ設定](https://qiita.com/HirumaT/items/61224dcbf34cd18ec025)    
> [Linux サーバー：SSH 設定（2021年2月更新）](https://zenn.dev/wsuzume/articles/26b26106c3925e)    
> [SSH接続でのタイムアウト対策](https://zenn.dev/syommy_program/articles/c7bd0d0daa156c)
> [Remote Development using SSH](https://code.visualstudio.com/docs/remote/ssh)    
> [Visual Studio Code で Remote SSH する。](https://qiita.com/nlog2n2/items/1d1358f6913249f3e186)

2023年5月21日日曜日

ｳﾌﾞﾝﾄｩのｽﾁﾑｰでｹﾞﾑｰ：Part.1 「動かねえ」

それは、予想はしていたけれど、少し辛いものだった。

――UbuntuでSteamのゲームが、遊べない。

本編

【おことわり】

この記事を書いた段階ではまだゲームプレイはできていません。
霧原めいの右往左往を楽しむコンテンツです。

やったこと：

1. Steam公式から steam.debを落としてきてインストール

``` bash

sudo dpkg -i steam.deb

```

※ dpkg : debian(*.deb) 方式のパッケージをインストールするコマンド。
（-i : install）

　依存関係をよしなにしてくれないので、アンインストールのときがめんどくさい。

　ギルティ。

※ sudo : 一時的に管理者(superuser)権限でコマンドを実行(do)するコマンド。よくつかう。

2. 「Atomic Heart」（冷蔵庫や自動販売機に犯されるゲーム）をポチる

3. 開発中……

4. Linux非対応ゲームを無理やりインストールする

初期状態だとLinuxネイティブ対応ゲーム以外は動かないので

Property -> Compatibility -> "Force the use of a specific Steam Play compatibility tool"にチェック

すると、「Install」ボタンが青くなり、当然のごとく、押せばインストールが始まる。

そして、Valveが誇る「Proton」――WindowsゲームをLinuxで動かすための互換レイヤーだ。――が、ゲイツへの反逆の唸りを上げるべく、「PLAY」ボタンを緑色に染める。

――そう。このPLAYボタンを押せば、ボクはゲームがプレイできる。簡単なことだ。
ゲイブに、感謝しなきゃね。

5. うごk……かない……なんで？

「PLAY」を押してもすぐに強制終了

6. 非公式版Proton「Proton-GE」を入れてみる

なんか公式ビルドより性能がいいらしいです

https://github.com/GloriousEggroll/proton-ge-custom

導入方法：
Releases から Tar.gzファイルを落としてきて、解凍。
展開されたものを　~/.steam/root/compatibilitytools.d　にぶち込む。

```
tar -xf GE-ProtonVERSION.tar.gz -C ~/.steam/root/compatibilitytools.d/
```

あとは、steamのプロパティでGE-Protonを指定するだけ。簡単なことだ。

Property -> Compatibility -> Protonのバージョンを指定するプルダウンで「GE-Proton」を選ぶだけ。

7. どうしてうごかないの？ねぇ！

「PLAY」を押しても立ち上がる気配すらない

8. Steamのアンインストール

```
apt list --installed *steam*

```
これでインストール済みの"steam"という名前がついたパッケージをリストアップできるので、

```
sudo dpkg -r steam-launcher
sudo dpkg -r steam-libs-amd64
sudo dpkg -r steam-libs-i386
```
のようにして、パッケージを消していきます。

* dpkg -r : アンインストール時は引数に -r をつける(たぶんremoveの意味　調べてない)

7. SnapストアにSteamのパッケージがあったので再チャレンジ

きっと、うまくいく。

次回、ｳﾌﾞﾝﾄｩのｽﾁﾑｰでｹﾞﾑｰ：Part2. 「きっと、うまくいく。」

あきらめなければ、なんだって動くようになるはずだから。

今後参考になりそうなサイト

・ ProtonDB (https://www.protondb.com/)

　Steam Deck (Proton)での動作報告や、「このProtonのバージョンが最適だぜ！」という情報が集まったサイト

・ Steam Deck HQ (https://steamdeckhq.com/)

　Steam DeckやProtonについての最新情報をまとめてくれるサイト。

HQ(Head Quarter)というネーミングセンスがスチマーらしくてよい。

※用語解説

ｳﾌﾞﾝﾄｩ：Ubuntuのこと。気分で半角にしただけ。Linuxのディストリビューションの一つ。

ｽﾁﾑｰ：Steamのこと。最初の頃のSteamクライアントにおけるバグった日本語表示に由来。語感がかわいい。

ｹﾞﾑｰ：ゲームのこと。最初の頃のSteamクライアントにおけるバグった日本語表示に由来（同上）。かわいい。

開発中：ｽﾁﾑｰでｹﾞﾑｰを購入する際、購入処理画面にでかでかと「開発中……」と表示されていたことに由来。かっこいい。

ゲイツ：WindowsとかMicrosoftとかXboxを作ったひと。かしこい。

ゲイブ：Harf-LifeとかValveとかSteam Deckを作ったひと。かわいい。

2023年5月18日木曜日

【めも: Windowsが立ち上がらなくなったとき】

※回復ディスクを用意しておく

1. UEFIでSecureBootオフ

2. chkdsk c: /f　だめなら /r

3. dism /image:C: /Cleanup-Image /RestoreHealth /ScratchDir:(任意の空フォルダ)

4. sfc /scannow

2023年5月17日水曜日

メモ：Ubuntu移行用やることリスト

ここはわたしの日記帳

Ubuntu(私が)最初にやることリスト

# Ubuntuのアップデート

```bash

sudo apt update
sudo apt upgrade

sudo apt autoremove
sudo apt autoclean

```

# Chromeを入れる

https://www.google.com/chrome/?platform=linux

.debを選ぶ（UbuntuはDebian系）

dpkg -i google-chrome-stable_current_amd64.deb

#. Ubuntu One へのログイン

https://login.ubuntu.com/

# いるものを入れる

```bash

// Cのコンパイラsudo apt -y install build-essential
//各種ユーティリティsudo apt -y install net-tools pciutilssudo apt -y install psutil
//パッケージ管理ソフト　flatpaksudo apt install flatpaksudo apt install gnome-software-plugin-flatpakflatpak remote-add --if-not-exists flathub https://flathub.org/repo/flathub.flatpakrepo

```

# Mozc(日本語入力)

sudo apt -y install fcitx-mozcim-config -n fcitxfcitx-autostartfcitx-configtool

# ディレクトリ名を英語にする

変換なしで快適なカタカタッターンをするため

sudo apt -y install xdg-user-dirs-gtk 
LANG=C LC_ALL=C xdg-user-dirs-gtk-update

# Nvidia GPU Driver

https://www.nvidia.com/ja-jp/drivers/unix/

GUIでインストールできるので、あえてここから入れる必要はないが、念のため

# CUDA ToolKit

https://developer.nvidia.com/cuda-toolkit-archive

今回は11.7を入れる

wget https://developer.download.nvidia.com/compute/cuda/11.7.1/local_installers/cuda_11.7.1_515.65.01_linux.runsudo sh cuda_11.7.1_515.65.01_linux.run

~/.bashrcの末尾に記入

export PATH="/usr/local/cuda/bin:$PATH"export LD_LIBRARY_PATH="/usr/local/cuda/lib64:$LD_LIBRARY_PATH"export CUDA_HOME=/usr/local/cuda

# セキュリティキーの設定

省略

Yubico

https://www.yubico.com/works-with-yubikey/catalog/linux/#setup-instructions

Titan Security Key

https://support.google.com/titansecuritykey/answer/9148044?hl=JA&ref_topic=9115742

# 開発環境

* Git

https://git-scm.com/

sudo apt install gitsudo apt install git-lfsgit lfs install
git config --global user.name "hogehoge"git config --global user.email "[email protected]"

* VSCode

https://code.visualstudio.com/Download

snapで入れればいいかなー

* Miniconda

https://docs.conda.io/en/latest/miniconda.html

bash Miniconda3-py310_23.3.1-0-Linux-x86_64.sh

　LICENSE読んでEnter連打

　続いて標準パスにインストールするけどええな？と聞かれるので、Enter（了承）

　初期化処理(環境変数を通したりする)はやめとくか(no)？と聞かれるので、"yes"と答える。

環境変数を適用するために以下のコマンドを打ち込む

source ~/.bashrc

* GitHub SSH key

https://docs.github.com/ja/authentication/connecting-to-github-with-ssh

* GitHub GPG key

https://docs.github.com/ja/authentication/managing-commit-signature-verification/generating-a-new-gpg-key

# もろもろ

* Audacity（音声編集）

https://www.audacityteam.org/download/linux/

* Kdenlive（動画編集）

https://kdenlive.org/

* gimp（画像編集）

https://www.gimp.org/downloads/

# （最重要）STEAM

https://store.steampowered.com/about/

snap storeから入れられる？

SteamOSで鍛えられた、新Protonの出来に期待しています……！

2023年4月4日火曜日

備忘録：WSL2でオーディオデバイスが読み込まれなくて悪戦苦闘した→解決

この記事はなに？

WSL2上でsounddeviceライブラリを使った録音アプリを作ろうと思ったら、オーディオデバイスが読み込まれなくて悪戦苦闘したので、その備忘録です。

結論

いろいろ探ったところ、こんな感じ。(2023.04.03時点)

・ WSL上でPulseAudioというソフトのインストールが必要

・ PulseAudioのパスを通す

PulseAudioはWSLの最新版の中には既に含まれているらしい（WSLg）のですが、明示的にインストールする必要があるとのこと。

昔はWindows側にもソフトを入れる必要があったらしいですが、現在はWindowsの方にソフトをインストールする必要はなさそう。

方法

bash

export PULSE_SERVER=unix:$(sed 's/unix://g' <<< "$PULSE_SERVER")

apt -y install pulseaudio

参考にさせていただいた資料

本当に助かりました！ありがとうございます！

瞳孔is横(@cat2151)　様のツイート

WSLでALSA鳴った

export PULSE_SERVER=unix:$(sed 's/unix://g' <<< "$PULSE_SERVER")
※issuesに書いてあったとおりenv漏れらしいので

apt -y install pulseaudio を明示的にやる
※これが必須。issuesにはこれは書いてなかった気がする

これで成功した

合間に数分試すだけで鳴ったラッキー
— 瞳孔is横 (@cat2151) January 11, 2023

WSL2上のUbuntu20.04から簡単に音声再生／録音ができた

https://www.sato-susumu.com/entry/2023/01/21/154738

2023年3月28日火曜日

Alpaca-Lora-4bit　をWSL2でうごかしてみる（適当な記事）

もはや説明の必要もないかもしれませんが

スタンフォード大学のアルパカ論文より生まれた、LLMを調教できる最高のツール。

その天の恵みを、ボクと一緒にインストールしていこう。

PyTorchのエラーとか、CUDAのエラーとか、シンボリックリンクのエラーとか、

色々あるけれど、僕が一緒にいるから、大丈夫だよ。

大丈夫じゃないこともあるけど、愛があれば大丈夫。

つらいときは、思い出して。

「CUDAとPyTorchは、愛があれば動く。」

本編

Alpaca-Lora-4bit　をWSL2でうごかしてみる（適当な記事）

https://github.com/johnsmith0031/alpaca_lora_4bit

(3/28注：最近のコミットでGPTQとPEFTが独自バージョンに変更されました。そのため、この記事の内容は書いてからわずか一日（正確には6時間）で陳腐化いたしました。README.MDを確認しながら、この記事の中の使えるところだけ、使ってみてください。私はまだ最新版を導入していないので、導入できたら書き換えます。この業界の進歩の速度はサラマンダーよりずっとはやいのです。)

これは何？：LLMにLoRAという手法でファインチューニングを行うプログラム。

そして、24GBのVRAMがあれば、”らくだの仲間”たちを賢くしてくれるツール。

1. インストール

1.1 Anacondaの環境を作る

conda create -n alpaca python=3.10.9

1.2 インストールガイドに沿って色々入れてく

日夜開発者の皆が試行錯誤しているため、最新情報（GitHubのREADMEやissue）を良く見ておくこと。

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

conda install -c conda-forge cudatoolkit=11.7
conda install -c conda-forge ninja
conda install -c conda-forge accelerate
conda install -c conda-forge sentencepiece
pip install git+https://github.com/huggingface/transformers.git
pip install git+https://github.com/huggingface/peft.git
pip install bitsandbytes
conda install datasets -c conda-forge

（4/4追記　最新版では必要パッケージが変わっているので、読み替えてください。今後もどんどん変わりそう……）

GPTQ某のインストールにcudatoolkit-devのnvcc(コンパイラが必要)

conda install -c conda-forge cudatoolkit-dev

Cのコンパイラも必要なので以下のパッケージをインストール。

sudo apt install build-essential

pipで依存関係をインストール

（バージョンが上がって互換性が無くなって涙を拭う展開に成ることが往々にして良くあるので、issueはちゃんとチェックすること。）

pip install -U -r requirement.txt

1.3　CUDA Toolkit 11.7を入れる

https://developer.nvidia.com/cuda-11-7-0-download-archive

wget https://developer.download.nvidia.com/compute/cuda/11.7.0/local_installers/cuda_11.7.0_515.43.04_linux.run

sudo sh cuda_11.7.0_515.43.04_linux.run

WSL版（ドライバが同梱されていないバージョン）を選ぶ

CUDAのインストールに失敗したら、全部消しちゃえば、大丈夫。

参考：　CUDAを削除・アンインストール

1.4　一息つきます。

1.5　お茶を淹れよう。

1.6　小便は済ませたか？神様にお祈りは？
　　部屋の隅でガタガタ震えて命乞いする心の準備はOK？

1.7　GPTQ某をコンパイルする

これはc++で書かれているから、内容が変わる度に都度コンパイルが必要。

cd して

pip install -U -r requirement.txt
python setup_cuda.py install

環境構築に失敗していた場合、ここで「CUDAというもの」を知ることになるだろう。

エラーが出なければ、次に進む。出たら、GitHubのissueを調べまくる。

常に情報が変わっていくのであえてここには書かないよ。

事実、今日も6時間くらい前に情報が変わっていて涙目になったりした。

頑張って探して、だめだったらお茶を飲んで、一旦まったりしよう。

環境構築、また、頑張ろうね。

2. ファインチューニング

OPT等のモデルデータ（4bit）をHuggingfaceや「特殊な方法」を使って用意し、ディレクトリ内に入れる。

python finetune.py

・arg_parser.py の中にモデルデータのパスや設定などが含まれているので適宜書き換える。

・パラメータはコード内にあるので適当にいっぱい試して遊ぶ。

・mbatch_sizeが各GPUに対するバッチ数になる雰囲気がする。

・データセットの量にも依るけれど、少ないepoch数でも、わりと過学習させやすい。

トークナイザーのエラーが出たら、configファイル内の記述との整合性を確認してみてね。

（例）

3. （省略）ローラを愛でる

4MBくらいの「語尾をだにゃ」に変えたデータセット

3epoch　2時間（RTX3090）

4. ちはるんを愛でる

6MBくらいの「アルパカ化」データセット　＋　日英中対訳コーパス

3epoch　6時間（RTX3090）

みんな。

たのしいから、おいで。

2023年1月6日金曜日

ぱそこんを組む決意表明

現在使用しているPCがあまりにも不安定すぎて仕事にならない（仕事中にブルスクとか食らうと本当に気力が萎える）のでpcを新調することにしました。

症状的にはマザーボードの故障

あとは考えたくはないけれどグラボの故障。

とりあえず安く済みそうなマザボ周り（マザボ、CPU、メモリ、電源）を新調。

（ていうかそれよりも高いGPUってなんなの）

AM5にしたかったけれど、現時点ではマザーボードやDDR5のコスパ的に微妙なので、枯れたAM4で組みます。

（AM5の7950X3DXに興味がないかと言われれば凄まじくあるがそれをするには口座残高の残金が少なすぎるのです）

現時点ではロー〜ミドルはIntelで組んだほうが安いらしいですが、AMDerなのでAM4。（ただしGPUはNVIDIA。CUDAが必要な場面が多いため）

あと、リサスーさんのファンなのでAMD一択。

Intelにはなんかロマンがない

CPU

　ZEN2 3600x

→ZEN3 5700x

マザボ

　MSI MPG X570　GamingPlus

→MSI MPG X570S CARBON MAX WIFI

　(M2が3本挿せることと、LANがIntelチップなのがとてもよい)

　追記：蟹でした　WiFiはIntel　ぬぅ

メモリ

　G.Skill SniperX DDR4 16GBx2（DDR2166 OC 1.35V）

→Crucial DDR4 JEDIC 32GBx2（ネイティブDDR3200 1.25V）

OCメモリでCPUのメモコン壊してしまったのではという可能性を考えるともう高くてもネイティブメモリですよね　という結論に

安いOCメモリをDDR2166で使っても良いのだけどなんかそれも悔しいので

メモリ64GBあればCities Skylineのロードが早くなりそうなので楽しみ

GPU

　RTX3090（流用）

→この子が真の原因だったらカードローン切ってRTX4090を買う（不退転の決意）

電源

　ANTEC 850W Gold

→FCP 1200W Platinum

（将来4090Tiに換装することを見越して）

大丈夫だとは思いますが一応200Vコンセントに刺しておきます（起動時ブレーカー落ちるとかつらつらなので）

なぜここに書いたかというと、テンションを上げるためです。

今日は、組むよ。

あと、残ったパーツからサーバを生やす計画もあるので

テンション、あげてくね。

登録: 投稿 (Atom)

Containts.

2024年2月12日月曜日

2024年2月11日日曜日

2023年5月21日日曜日

ｳﾌﾞﾝﾄｩのｽﾁﾑｰでｹﾞﾑｰ：Part.1 「動かねえ」

本編

やったこと：

1. Steam公式から steam.debを落としてきてインストール

2. 「Atomic Heart」（冷蔵庫や自動販売機に犯されるゲーム）をポチる

3. 開発中……

4. Linux非対応ゲームを無理やりインストールする

5. うごk……かない……なんで？

6. 非公式版Proton「Proton-GE」を入れてみる

7. どうしてうごかないの？ねぇ！

8. Steamのアンインストール

7. SnapストアにSteamのパッケージがあったので再チャレンジ

今後参考になりそうなサイト

※用語解説

2023年5月18日木曜日

2023年5月17日水曜日

Ubuntu(私が)最初にやることリスト

# Ubuntuのアップデート

# Chromeを入れる

#. Ubuntu One へのログイン

# いるものを入れる

# Mozc(日本語入力)

# ディレクトリ名を英語にする

# Nvidia GPU Driver

# CUDA ToolKit

# セキュリティキーの設定

# 開発環境

# もろもろ

# （最重要）STEAM

2023年4月4日火曜日

この記事はなに？

結論

方法

参考にさせていただいた資料

2023年3月28日火曜日

Alpaca-Lora-4bit をWSL2でうごかしてみる（適当な記事）

1. インストール

1.1 Anacondaの環境を作る

1.4 一息つきます。

1.5 お茶を淹れよう。

1.6 小便は済ませたか？ 神様にお祈りは？ 部屋の隅でガタガタ震えて命乞いする心の準備はOK？

2. ファインチューニング

3. （省略）ローラを愛でる

4. ちはるんを愛でる

2023年1月6日金曜日

最新記事

人気の投稿

Me.

Me?

DON'T PANIC.

Fingerprint

Alpaca-Lora-4bit　をWSL2でうごかしてみる（適当な記事）

1.4　一息つきます。

1.5　お茶を淹れよう。

1.6　小便は済ませたか？神様にお祈りは？
　　部屋の隅でガタガタ震えて命乞いする心の準備はOK？