山ノ内勇斗 | Hayato M. Yamanouchi

タグ: インストール方法

物体認識を使った新しい行動解析ツール”YORU”とは一体なんなのか

2024年11月にbioRxivにこれまでの行動解析ツールとは異なる手法を使ったYORUという行動解析ツールについて発表されました。
今回はそのツールについてどのようなツールなのかを解説していきたいと思います。

YORUのプレプリント

YORUのドキュメント

YORUとは

YORUとは深層学習を使った動物の行動解析ツールです。

YORUのサイトより引用

これまでもDeepLabCutやSLEAPといった深層学習を使ったツールは多く公開されています。
これらのツールは深層学習と用いて動物の体の部位をトラッキング、そして姿勢推定を行うツールです。(ここではトラッキングツールと呼びます。)

姿勢を推定することによって、動物がどのような姿勢をしているのかを明らかにし、行動解析を行います。

これに対して、YORUは物体認識というアルゴリズムを用いて行動を認識します。
簡潔には、身体部位のトラッキング等は行わず、動物の行動している様子から行動を直接定義します。

人がりんごやみかんを見分けるときに、形や色といったことを情報に見分けていると思います。
物体認識では物体を分類することに長けているため、こういった見た目によるものの見分けを行います。

これを動物の行動解析に用いることで、動物の行動をその見た目から分類します。
YORUのツール内では、これを行動オブジェクト(Behavior object)と呼んでいます。

トラッキングツールでは行動は点と線で認識され、YORUでは行動をボックスで囲われるように解析されます。

物体認識による行動定義のメリット

物体認識による行動のメリットとしては

・個体数が増えてもエラーが出にくい

・動物の向きに影響されにくい

・解析速度が速い

・トラッキングでは捉えにくい行動（マウスがうずくまるといったような行動）を捉えられる

といったことが考えられます。

トラッキングツールの弱点である、複数個体の行動解析を簡単に、かつ解析コストをかなり抑えて解析することが可能です。
さらに、身体部位の位置情報による行動定義が困難な行動も簡単に解析可能です。

例えば、手をあける、閉じるという行動を考えてみましょう。
トラッキングツールであればカメラで指先をトラッキングして閉じている、開いているを定義すると思いますが、手を閉じたときに指先が見えなくなると、トラッキングできず、位置情報を正確に計算できなくなります。

しかし、物体認識であれば手がひらいた状態と閉じた状態の手の形を見ているので、一部が見えなくなっても正確に捉えることが可能です。

個体数増加に強いという理由に関しても、トラッキングツールであれば個体数が増えると、身体部位がどの個体なのかを割り振って、正確に各個体の行動をとらえなければなりませんが、YORUであれば各個体の形状のみで解析するため、個体の識別や各個体への割り振りを行う必要がありません。

解析速度も速いため、リアルタイム解析が可能であり、ある行動をしたときに装置制御を行うといったことも可能であり、行動実験の自動化を行うことができます。

物体認識による行動定義のデメリット

もちろんデメリットもあり、

・一連の行動は捉えることができない

・個体識別は行えない

・未知の行動を捉えることはできない

・見た目でわかりにくい行動は捉えられない

・定義した行動の詳細がわからない

といったことがあります。
これらのデメリットは逆にトラッキングツールの強みとしても挙げられるところであり、どちらが優れているというよりは、メリット・デメリットをお互いに補完し合っているような感じです。

そのため、実験者は状況に応じた適切な手法を選ぶ必要があります。

YORUは何がすごいのか

さて、YORUの根本に使われている物体認識による行動解析のメリット・デメリットを述べましたが、YORUは一体何がすごいのでしょうか。

全てGUI化されている

YORUではプログラミングを行うことなく、行動解析を行うことが可能です。

これはDeepLabCutやSLEAPなどのツールも同様であり、生物学者にとってこれらの解析を使うための一助となります。

デザイン

YORUのデザインはこれまでのツールと違い、かなり研究ツールっぽくはない感じがします。

リアルタイム解析を導入している

YORUではこれまでのツールでは珍しく、リアルタイム解析のGUIが完備されています。

リアルタイム解析のシステムを作るのはプログラミングがある程度できればそこまで問題ではありませんが、そうでないとかなりハードルが高いです。

ただ、YORUでは全てプログラミングなしで、リアルタイム解析、さらには外部トリガーまでを行うことが可能になっています。

多様な実験装置に適応可能である点

リアルタイム解析の最も高いハードルとして、自身の実験系の装置を動かすコードとこれらの解析をどのように組み合わせるのかというのがあります。

YORUではプラグインシステムを導入しており、外部装置を制御するプログラムを選ぶことができます。

つまり、自身のシステムにあったプラグインを選択すれば良いのです。

また、プラグインは自作することも可能であり、自身の装置の制御プログラムをプラグインにすることで簡単にYORUのリアルタイム解析と合致させることができます。

これは他のツールにはない、かなり使いやすいシステムとなっています。

最後に

YORUは発表されたてで、まだまだ使いにくい点・ドキュメントの不足が目立ちます。

しかし、これからこれらが整備されていくことによって、どのように使われていくのか非常に楽しみです。

2024-11-17
SLEAPのインストール方法[2024年2月更新]
SLEAPという機械学習を用いた動物の身体部位のトラッキングツールのインストール方法について書いていきたいと思います。

DeepLabCutがトラッキングツールとして最もメジャーであり僕自身も過去にインストール方法について書いたり、他の人が多くの記事を残してくれています。

しかし、SLEAPについては日本語での記事は少ないのが現状です。
SLEAPはDeepLabCutよりも優れている点はたくさんあり、選択肢の一つとしてできるようにするために今回インストール方法を書こうと決意しました。

SLEAPはインストール方法から使い方まで動画付きで非常にわかりやすくまとまっているので、英語がわかる方なら簡単に使うことができると思います。

SLEAPの論文についてはこちら

SLEAPの公式サイトはこちら

SLEAPのGitHubはこちら

はじめに

まず初めに、SLEAP(公式)のインストール方法に書いてある、
```
mamba create -y -n sleap -c conda-forge -c nvidia -c sleap -c anaconda sleap=1.3.3
```
で一発で環境構築からパッケージのインストール、その他の諸々を行うという方法は、筆者はいくつかのパソコンで試したが、どれも環境構築の段階でずっと処理中になってしまい、うまくいかなかった。

よって、今回は公式が提案する別の方法でインストールする方法を紹介する。

インストール方法

基本的にはSLEAP公式のサイトのインストール方法にのっとって行なっていきます。

動作環境

・Windows 11 pro
・NVIDIA 3080で動作確認
・SLEAP 1.3.3
・Python 3.7.12

ファイルのダウンロード

まず初めに、SLEAPのGitHubからファイルを自分のパソコンにダウンロードします。

Gitで行う場合には以下のコードを行います。
```
git clone https://github.com/talmolab/sleap
```
gitコマンドが使えない場合には、gitをインストールする、もしくはGitHubから直接ファイルをダウンロードします。

GPUのドライバーのインストール

NVIDIAのドライバーをインストールします。
（もともとインストールされている場合はスキップします。）

Anacondaのインストール

次に、AnacondaのサイトからWindows 10 64bit版をダウンロード、インストールします。
AnacondaのサイトのFree Downloadを押し、サイトの下の方に行くと下のような画面になるので、
一番左のWindowsのインストーラーを入れましょう。

Anacondaがインストールできると、windowsのアプリ一覧の中に、”Anaconda Prompt”が入っていると思います。
それを使って、以下のコードを実行し、仮想環境の構築やインストール、さらにはSLEAPの起動を行ってきます。

仮想環境の構築とインストール

その後、以下のコードを実行し、仮想環境の構築、そしてSLEAPのインストールします。
仮想環境名は”sleap”になります。
```
cd sleap
conda env create -f environment.yml -n sleap
```
ちなみに、GPUの入っているパソコンでは上記のコードで行うことができますが、
もし入っていないパソコンでは、以下のコードで行うことができます。
```
cd sleap
conda env create -f environment_no_cuda.yml -n sleap
```
これでインストールは完了です。

インストールできたかの確認

仮想環境のアクティベーションを行い、sleap-labelでSLEAPを起動します。
```
conda activate sleap
sleap-label
```
仮想環境のアクティベーション(codna activate sleapのコマンド部分です。)はAnaconda Promptを閉じた際には毎度行う必要があります。

仮想環境のアクティベーションで(base)から、(sleap)になると思います。

起動できたら問題なくインストールができました。

論文に載せる際のバージョンなどの確認

バージョンの確認はsleapの仮想環境をアクティベートした後で、以下のコマンドを実行します。
```
python -c "import sleap; sleap.versions()"
```
すると、
```
SLEAP: 1.3.3
TensorFlow: 2.7.0
Numpy: 1.21.5
Python: 3.7.12
OS: Windows-10-10.0.22621-SP0
```
と、SLEAPのバージョン情報などが出力されます。

また、SLEAPがGPUを利用できているかについては、
```
python -c "import sleap; sleap.system_summary()"
```
で確認できます。
利用できているときは以下のような出力になります。
```
GPUs: 1/1 available
  Device: /physical_device:GPU:0
         Available: True
       Initialized: False
     Memory growth: None
```
次回以降はSLEAPの具体的な使い方について紹介できたらなと思います。

おまけ

パソコンどれを使えばいいのかわからない方へ、パソコン購入相談をココナラでやることにしました！
あなたの要望に合わせてパソコンを選び、提案しますパソコン選びに困っている方々へ！様々な目的に対応できます！
パソコンを選んだり、アドバイスすることが多く多くの友人からパソコンの相談やったら儲かるのにと言われました。
それに感化されて一旦やってみようと思いました！

パソコンの利用目的に合わせて、そしてパソコンの予算に合わせて購入をご提案します。
特に機械学習に用いるパソコンを多く選び、使ってきています。

そして、希望があればパソコンを今後買う時にどこに注目すると良いかもアドバイスしていきたいと思います。

今まで選んだことあるパソコンとして、研究室の解析用パソコン、実用パソコン、ゲーム配信用パソコン、大学の新入生用のパソコン、建築学科用のCADが使えるパソコン、とりあえずのパソコンなど。

MacとWindowsの両方使っているので、どちらのお話、ご提案もできます！

ぜひ利用してみてください
2024-01-21
[2022年12月更新]YOLOXのインストール方法
YOLOXとは

YOLOシリーズがたくさん出ている中、2021年7月に最新のYOLOXが出ました。

YOLOXに関する論文はこちら (現在プレプリントです。)
また、GitHubはこちら

YOLOは物体認識のアルゴリズムです。
リアルタイムに動かすことを前提としており、非常に動作が軽量であり(認識だけならスマホでも動かすことができます)、システムの応用性もあり、IoT装置にも多く取り入れられています。

物体認識アルゴリズムと聞くと少し難しそうですが、簡単に想像できるのは、カメラの顔や目の自動フォーカスです。
ここが顔ですよと視覚が現れると思いますが、それが他の物体でも適応され、そしてそれぞれが何なのかを分類することができます。

YOLOはたくさんのシリーズがあり、YOLO, YOLOv2, YOLOv3, YOLOv4, YOLOv5, YOLOXと出てきています。
また、動作環境もPythonだけでなく、MATLABでも使うことができるなど、自分の使っているプラットフォームに適応させることができます。

YOLOXはYOLOv3からのシステムとは異なり、YOLO(最初に出版された方法)でのシステムとなっており、動作も早く、また正確性もかなり向上しているとのことです。

詳しくは他のブログサイトでも書かれています。

YOLOXのインストール方法

GitHubのサイトにもインストール方法が記載されていますが、英語なのと、仮想環境を使った方法では書かれていないので、今回はAnacondaで仮想環境を使って行う方法です。

WindowsとMacの両方で、YOLOXのマニュアル通りにインストールするとエラーが連発しました。
今後もバージョンによって、エラーが変わってきたりするので、その都度調べてください。

macのターミナルでcondaコマンドを使う方法は以下から

macOSでCondaコマンドを使う

WindowsではAnaconda Promptを使うと良いかと思います。

ターミナル(Anaconda Prompt)を開き、文字が並んでいる黒いウィンドウができます。
最終行の左に(base)となっているかと思います。
現在、仮想環境には入っていない状態です。

仮想環境なしでもYOLOXは動作できますが、他のパッケージとの環境が交差してしまうので、仮想環境を作ることをお勧めします。

まず以下のコードを入力し、仮想環境を作成します。
```
conda create -n YoloX python=3.8
```
YoloXは仮想環境名で、これでなくても大丈夫です。
また、pythonのバージョンはpython=3.8で指定できます。

その後以下のコードで仮想環境に入ります。
```
conda activate YoloX
```
これで、左の(base)が(YoloX)になっていたら成功です。

CUDAのインストール

まず、機械学習のライブラリを初めてインストールする方で、YOLOの学習をGPUで行うおうとする方はCUDAをインストールしましょう。
(CPUでの学習はありえないほど時間がかかるのでおすすめしません。ただ、Apple Silicon搭載のPCではGPUを使うことは現在できません。)
CUDAは公式サイトからダウンロードできます。

CUDAのバージョンは、PyTorchで対応しているCUDAのバージョンを確認してから、そのバージョンをインストールするといいと思います。
PyTorchの公式サイト

過去のバージョンをインストールするには、Download nowを押した後の画面で、下の方のResourcesのArchive of Previous CUDA Releasesでインストールすることができます。

最新バージョンでもできるかもしれませんが、取り合えず、PyTorchに合わせておけば問題なく動かすことができると思います。

インストールされているかはwindowsで、「システム環境変数の編集」を開き、詳細設定>環境変数と開き、
CUDA_PATHからはじまるパスがあるか確認しましょう。
Vの後の数字がバージョンを示しています。

PyTorchのインストール

まず、インストールする前に、pipの更新をしておきましょう。
Anaconda Promptで仮想環境に入り、以下のコマンドを実行します。
```
python -m pip install --upgrade pip
```
PyTorchの公式サイトに行き、自分の環境に合ったインストール方法を選びましょう。
しかし、ここで問題となるのが、Packageの欄で、ここではpipを選択しましょう。
condaでインストールするとその後でエラーが出てしまいます。

Run this Commandのコマンドをコピペして、仮想環境にインストールします。

インストールが終わったら、以下のコマンドでPyTorchがインストールされているか確認しましょう。
```
pip list
```
この中に、torchが入っていればOKです！！！
一応動作確認として、pythonを起動し、以下のコマンドを実行してみましょう。
```
import torch
print(torch.cuda.is_available())
```
出力でTrueと出れば問題なくインストールできており、torchをGPUで動かす準備が整ったということになります。
(Macに導入する際やGPUがないパソコンには、Folseと出てきますが、imortが出てきたら大丈夫です)
エラーが出たらもう一度、インストールを見直してみましょう。

YOLOXに関わるパッケージのinnsuto-ru

GitHubからYOLOXの諸々のファイルをダウンロード(クローン)します。
Gitコマンドが使える人は、以下のコードでクローンできます。
```
git clone git@github.com:Megvii-BaseDetection/YOLOX.git
```
その後、クローンしたフォルダにアクセスし、必要なパッケージをインストールします。

まず、クローンしたYOLOXのフォルダにある、requirements.txtの中身を以下のように書き換えます。
```
# TODO: Update with exact module version
numpy
#torch>=1.7
opencv_python
loguru
tqdm
#torchvision
thop
ninja
tabulate

# verified versions
# pycocotools corresponds to https://github.com/ppwwyyxx/cocoapi
#pycocotools>=2.0.2
#onnx==1.8.1
onnxruntime==1.8.0
onnx-simplifier==0.3.5
```
どうやら、pycocotoolsなどはこのコマンドで入れることができないようです。

これが終わったら、requirements.txtを保存して、下のコマンドをターミナル(Anaconda prompt)で実行します。
```
cd YOLOX
pip3 install -r requirements.txt
pip3 install cython pycocotools
```
ダウンロードしたYOLOXのフォルダには”requirements.txt”というファイルがあり、ここに必要なパッケージが入っているので、これを読み取り専用で開き、記載されているパッケージをインストールするコマンドが二つ目のコマンドです。
```
pip3 install cython pycocotools
```
このコマンドによって、cythonとpycocotoolsをインストールすることができます。
どうやらこれらは別途インストールする必要があるようです。

このコマンドを実行すると、以下のエラーが出る人もいるかと思います。
```
      building 'pycocotools._mask' extension
      error: Microsoft Visual C++ 14.0 or greater is required. Get it with "Microsoft C++ Build Tools": https://visualstudio.microsoft.com/visual-cpp-build-tools/
```
Microsoft C++ Build Toolsがpycocotoolsには必要だそうです。(Mac版がないのに、Macでもエラーが出る。)
WIndowsの人は一応インストールしておくと良いでしょう。

これをインストールし、さらに以下のコードで再度インストールを試みてください。
```
pip3 install "git+https://github.com/philferriere/cocoapi.git#egg=pycocotools&subdirectory=PythonAPI"
```
それでもうまくいかない場合には、以下のコマンドで入れましょう。
```
conda install -c conda-forge pycocotools
```
基本的には今回のパッケージ等はpipでインストールしていますが、こればっかりはインストールできないので、condaでインストールするという最終手段を使います。

次に、yolox_x.pthをダウンロードします。
リンクを押すとすぐにダウンロードが始まります。

ダウンロードしたファイルをgithubからクローンしたYOLOXのフォルダに入れましょう。
これでデモの認識に使うモデルをダウンロードし、任意の場所に置くことができます。

tools/demo.pyの上部に下記をプログラムに追記し、yoloxフォルダへアクセスできるようにします。
```
#demo.pyの中身に書き込みましょう。
import sys
import os
sys.path.append(os.path.join(os.path.dirname(__file__), '..'))
```
これを行わないと、yoloxのパッケージがありませんというエラーが出されます。

その後、ターミナルで以下のコマンドを実行しましょう。
これで、デモ動作ができているかどうかを確認することができます。
```
python tools/demo.py image -n yolox-x -c yolox_x.pth --path assets/dog.jpg --conf 0.25 --nms 0.45 --tsize 640 --save_result --device gpu 
#gpuで動かさない場合には、gpuをcpuに書き換えてください。
```
–device gpu は状況に応じて –device cpuに書き換えてください。

これで、YOLOX/YOLOX_outputs/yolox_x/vis_res/20……..の中に以下の画像が入っていればよいです。

おまけ

パソコンどれを使えばいいのかわからない方へ、パソコン購入相談をココナラでやることにしました！
あなたの要望に合わせてパソコンを選び、提案しますパソコン選びに困っている方々へ！様々な目的に対応できます！
パソコンを選んだり、アドバイスすることが多く多くの友人からパソコンの相談やったら儲かるのにと言われました。
それに感化されて一旦やってみようと思いました！

パソコンの利用目的に合わせて、そしてパソコンの予算に合わせて購入をご提案します。
特に機械学習に用いるパソコンを多く選び、使ってきています。

そして、希望があればパソコンを今後買う時にどこに注目すると良いかもアドバイスしていきたいと思います。

今まで選んだことあるパソコンとして、研究室の解析用パソコン、実用パソコン、ゲーム配信用パソコン、大学の新入生用のパソコン、建築学科用のCADが使えるパソコン、とりあえずのパソコンなど。

MacとWindowsの両方使っているので、どちらのお話、ご提案もできます！

ぜひ利用してみてください
2022-11-15
DeepLabCut2.3のインストール方法[2023年12月更新]
今回の記事ではDeepLabCutのインストール方法について説明していきます。

参考サイト
・日本語サイト
https://qiita.com/auditorycortex/items/1b3a55101cddf09553b2
↑非常にわかりやすい。とりあえずこれに従っておけば大丈夫なはず

https://note.com/sakulab/n/n9caeb32d74d6
↑画像付き

・DeepLabCutホームページ
・GitHub

インストール方法

動作環境
・Windows 10
・NVIDIA 2060 SUPER, NVIDIA 1080 Ti, NVIDIA 3080で動作確認
(NVIDIA 1060 SUPERでは動作せず)
・DeepLabCut 2.1
・NVIDIA Driver 最新版
・Anaconda3
・Python 3.8
・CUDA 11.8
・tensorflow-gpu 2.5

手順
まず初めに、GitHubのサイトのマスターファイルをダウンロードしておきます。

Codeの”Download ZIP”よりダウンロードすることができます。

次に、AnacondaのサイトからWindows 10 64bit版をダウンロード、インストールします。

NVIDIAのドライバーをインストールします。（もともとインストールされている場合はスキップします。）

DeepLabCutのサイトの下のほうへとスクロールし、右側の　”DOWNLOAS CONDA FILE”　をクリックし、
DEEPLABCUT.yamlをダウンロードします。

PCのどこかにDeepLabCutフォルダーを作り(デスクトップ、もしくはCドライブのディレクトリがおすすめ)、その中にenvironmentフォルダーをつくりましょう。
そして、そのファイルの中に先ほどダウンロードしたDEEPLABCUT.yamlのファイルを入れます。
これは人の好みによりますが、僕は環境ファイルはある一定のところへと保存したい派ですので、このようにしております。

Anaconda Promptを管理者権限で起動します。(なんか黒い文字ばっかのターミナル、もしくはコマンドプロントのような画面が出てくる)
Anaconda PromptはAnacondaをダウンロードした際に、一緒に入っており、PCのソフト一覧から見つけることができると思います。

さきほどダウンロードしたDEEPLABCUT.yamlファイルをつかって仮想環境を構築します。
Anaconda Promptで
```
conda env create -f C:\(DLC-GPU.yamlファイルの場所)\DEEPLABCUT.yaml
```
と入力しましょう。
DEEPLABCUT.yamlファイルの場所は、ファイルのプロパティから確認することができるので、そこから確認し、入力しましょう。

このコードを動かすと、いろいろダウンロードなどをするかと思います。
その後、作った仮想環境に入りましょう。
```
conda activate DEEPLABCUT
```
すると、(base)から(DEEPLABCUT)に代わっていると思います。
そこまでいけばとりあえずは成功です。

次に、CUDAとcuDNNをインストールします。
```
conda install -c conda-forge cudnn
```
これによって、CUDA toolkitとcuDNNをいい感じのバージョンをダウンロードしてくれます。

その後、以下の4つのコードを入力し、インストールします。
```
pip install numpy
pip install deeplabcut
pip install imgaug
pip install torch
```
DeepLabCutをアップデートし、インストールは完了です。
```
pip install --upgrade deeplabcut
```
ここまで出来たら、一度起動してみましょう。
```
conda activate DEEPLABCUT
python -m deeplabcut
```
を入力することで、DeepLabCutのGUIを起動させることができます。

DeepLabCutがGPUで動いてくれない時の対処

trainingを開始してみたら、あれ？遅くね？ってなることがあります。
それはGPUでDeepLabCutを動かしたいはずが、CPUで動かしてしまっているからです。

よくある原因はCUDA, cuDNN, tensorflowのバージョンが合致していないという問題です。

tensorflowなどは最新版にどんどん更新されていきます。
なので、たまにうまくいかなくなることがあります。

最新のバージョン情報に関しては、DeepLabCutのGitHubで確認してみてください。

以上がインストール方法でした。
次回以降は使い方を説明していきたいと思います。

おまけ

パソコンどれを使えばいいのかわからない方へ、パソコン購入相談をココナラでやることにしました！
あなたの要望に合わせてパソコンを選び、提案しますパソコン選びに困っている方々へ！様々な目的に対応できます！
パソコンを選んだり、アドバイスすることが多く多くの友人からパソコンの相談やったら儲かるのにと言われました。
それに感化されて一旦やってみようと思いました！

パソコンの利用目的に合わせて、そしてパソコンの予算に合わせて購入をご提案します。
特に機械学習に用いるパソコンを多く選び、使ってきています。

そして、希望があればパソコンを今後買う時にどこに注目すると良いかもアドバイスしていきたいと思います。

今まで選んだことあるパソコンとして、研究室の解析用パソコン、実用パソコン、ゲーム配信用パソコン、大学の新入生用のパソコン、建築学科用のCADが使えるパソコン、とりあえずのパソコンなど。

MacとWindowsの両方使っているので、どちらのお話、ご提案もできます！

ぜひ利用してみてください

追記 1

DeepLabCutと同様に、行動のトラッキングを行うツールである”SLEAP”のインストール方法についても記事に書きました。

SLEAPもDeepLabCutに負けないツールなので、ぜひ使って見てください。

SLEAPのインストール方法[2024年2月更新]
2021-03-26