山ノ内 勇斗 | Hayato M. Yamanouchi

タグ: パイソン

  • 物体認識を使った新しい行動解析ツール”YORU”とは一体なんなのか

    物体認識を使った新しい行動解析ツール”YORU”とは一体なんなのか

    2024年11月にbioRxivにこれまでの行動解析ツールとは異なる手法を使ったYORUという行動解析ツールについて発表されました。
    今回はそのツールについてどのようなツールなのかを解説していきたいと思います。

    YORUのプレプリント

    YORUのドキュメント

    YORUとは

    YORUとは深層学習を使った動物の行動解析ツールです。

    YORUのサイトより引用


    これまでもDeepLabCutやSLEAPといった深層学習を使ったツールは多く公開されています。
    これらのツールは深層学習と用いて動物の体の部位をトラッキング、そして姿勢推定を行うツールです。(ここではトラッキングツールと呼びます。)

    姿勢を推定することによって、動物がどのような姿勢をしているのかを明らかにし、行動解析を行います。

    これに対して、YORUは物体認識というアルゴリズムを用いて行動を認識します。
    簡潔には、身体部位のトラッキング等は行わず、動物の行動している様子から行動を直接定義します。

    人がりんごやみかんを見分けるときに、形や色といったことを情報に見分けていると思います。
    物体認識では物体を分類することに長けているため、こういった見た目によるものの見分けを行います。

    これを動物の行動解析に用いることで、動物の行動をその見た目から分類します。
    YORUのツール内では、これを行動オブジェクト(Behavior object)と呼んでいます。

    トラッキングツールでは行動は点と線で認識され、YORUでは行動をボックスで囲われるように解析されます。

    物体認識による行動定義のメリット

    物体認識による行動のメリットとしては

    ・個体数が増えてもエラーが出にくい

    ・動物の向きに影響されにくい

    ・解析速度が速い

    ・トラッキングでは捉えにくい行動（マウスがうずくまるといったような行動）を捉えられる

    といったことが考えられます。

    トラッキングツールの弱点である、複数個体の行動解析を簡単に、かつ解析コストをかなり抑えて解析することが可能です。
    さらに、身体部位の位置情報による行動定義が困難な行動も簡単に解析可能です。

    例えば、手をあける、閉じるという行動を考えてみましょう。
    トラッキングツールであればカメラで指先をトラッキングして閉じている、開いているを定義すると思いますが、手を閉じたときに指先が見えなくなると、トラッキングできず、位置情報を正確に計算できなくなります。

    しかし、物体認識であれば手がひらいた状態と閉じた状態の手の形を見ているので、一部が見えなくなっても正確に捉えることが可能です。

    個体数増加に強いという理由に関しても、トラッキングツールであれば個体数が増えると、身体部位がどの個体なのかを割り振って、正確に各個体の行動をとらえなければなりませんが、YORUであれば各個体の形状のみで解析するため、個体の識別や各個体への割り振りを行う必要がありません。

    解析速度も速いため、リアルタイム解析が可能であり、ある行動をしたときに装置制御を行うといったことも可能であり、行動実験の自動化を行うことができます。

    物体認識による行動定義のデメリット

    もちろんデメリットもあり、

    ・一連の行動は捉えることができない

    ・個体識別は行えない

    ・未知の行動を捉えることはできない

    ・見た目でわかりにくい行動は捉えられない

    ・定義した行動の詳細がわからない

    といったことがあります。
    これらのデメリットは逆にトラッキングツールの強みとしても挙げられるところであり、どちらが優れているというよりは、メリット・デメリットをお互いに補完し合っているような感じです。

    そのため、実験者は状況に応じた適切な手法を選ぶ必要があります。

    YORUは何がすごいのか

    さて、YORUの根本に使われている物体認識による行動解析のメリット・デメリットを述べましたが、YORUは一体何がすごいのでしょうか。

    全てGUI化されている

    YORUではプログラミングを行うことなく、行動解析を行うことが可能です。

    これはDeepLabCutやSLEAPなどのツールも同様であり、生物学者にとってこれらの解析を使うための一助となります。

    デザイン


    YORUのデザインはこれまでのツールと違い、かなり研究ツールっぽくはない感じがします。

    リアルタイム解析を導入している

    YORUではこれまでのツールでは珍しく、リアルタイム解析のGUIが完備されています。

    リアルタイム解析のシステムを作るのはプログラミングがある程度できればそこまで問題ではありませんが、そうでないとかなりハードルが高いです。

    ただ、YORUでは全てプログラミングなしで、リアルタイム解析、さらには外部トリガーまでを行うことが可能になっています。

    多様な実験装置に適応可能である点

    リアルタイム解析の最も高いハードルとして、自身の実験系の装置を動かすコードとこれらの解析をどのように組み合わせるのかというのがあります。

    YORUではプラグインシステムを導入しており、外部装置を制御するプログラムを選ぶことができます。

    つまり、自身のシステムにあったプラグインを選択すれば良いのです。

    また、プラグインは自作することも可能であり、自身の装置の制御プログラムをプラグインにすることで簡単にYORUのリアルタイム解析と合致させることができます。

    これは他のツールにはない、かなり使いやすいシステムとなっています。

    最後に

    YORUは発表されたてで、まだまだ使いにくい点・ドキュメントの不足が目立ちます。

    しかし、これからこれらが整備されていくことによって、どのように使われていくのか非常に楽しみです。

  • SLEAPのインストール方法[2024年2月更新]

    SLEAPのインストール方法[2024年2月更新]

    SLEAPという機械学習を用いた動物の身体部位のトラッキングツールのインストール方法について書いていきたいと思います。

    DeepLabCutがトラッキングツールとして最もメジャーであり僕自身も過去にインストール方法について書いたり、他の人が多くの記事を残してくれています。

    しかし、SLEAPについては日本語での記事は少ないのが現状です。
    SLEAPはDeepLabCutよりも優れている点はたくさんあり、選択肢の一つとしてできるようにするために今回インストール方法を書こうと決意しました。

    SLEAPはインストール方法から使い方まで動画付きで非常にわかりやすくまとまっているので、英語がわかる方なら簡単に使うことができると思います。

    SLEAPの論文についてはこちら

    SLEAPの公式サイトはこちら

    SLEAPのGitHubはこちら

    はじめに

    まず初めに、SLEAP(公式)のインストール方法に書いてある、

    mamba create -y -n sleap -c conda-forge -c nvidia -c sleap -c anaconda sleap=1.3.3

    で一発で環境構築からパッケージのインストール、その他の諸々を行うという方法は、筆者はいくつかのパソコンで試したが、どれも環境構築の段階でずっと処理中になってしまい、うまくいかなかった。

    よって、今回は公式が提案する別の方法でインストールする方法を紹介する。

    インストール方法

    基本的にはSLEAP公式のサイトのインストール方法にのっとって行なっていきます。

    動作環境

    ・Windows 11 pro
    ・NVIDIA 3080で動作確認
    ・SLEAP 1.3.3
    ・Python 3.7.12

    ファイルのダウンロード

    まず初めに、SLEAPのGitHubからファイルを自分のパソコンにダウンロードします。

    Gitで行う場合には以下のコードを行います。

    git clone https://github.com/talmolab/sleap

    gitコマンドが使えない場合には、gitをインストールする、もしくはGitHubから直接ファイルをダウンロードします。

    GPUのドライバーのインストール

    NVIDIAのドライバーをインストールします。
    （もともとインストールされている場合はスキップします。）

    Anacondaのインストール

    次に、AnacondaのサイトからWindows 10 64bit版をダウンロード、インストールします。
    AnacondaのサイトのFree Downloadを押し、サイトの下の方に行くと下のような画面になるので、
    一番左のWindowsのインストーラーを入れましょう。

    Anacondaがインストールできると、windowsのアプリ一覧の中に、”Anaconda Prompt”が入っていると思います。
    それを使って、以下のコードを実行し、仮想環境の構築やインストール、さらにはSLEAPの起動を行ってきます。

    仮想環境の構築とインストール

    その後、以下のコードを実行し、仮想環境の構築、そしてSLEAPのインストールします。
    仮想環境名は”sleap”になります。

    cd sleap
conda env create -f environment.yml -n sleap

    ちなみに、GPUの入っているパソコンでは上記のコードで行うことができますが、
    もし入っていないパソコンでは、以下のコードで行うことができます。

    cd sleap
conda env create -f environment_no_cuda.yml -n sleap

    これでインストールは完了です。

    インストールできたかの確認

    仮想環境のアクティベーションを行い、sleap-labelでSLEAPを起動します。

    conda activate sleap
sleap-label

    仮想環境のアクティベーション(codna activate sleapのコマンド部分です。)はAnaconda Promptを閉じた際には毎度行う必要があります。

    仮想環境のアクティベーションで(base)から、(sleap)になると思います。

    起動できたら問題なくインストールができました。

    論文に載せる際のバージョンなどの確認

    バージョンの確認はsleapの仮想環境をアクティベートした後で、以下のコマンドを実行します。

    python -c "import sleap; sleap.versions()"

    すると、

    SLEAP: 1.3.3
TensorFlow: 2.7.0
Numpy: 1.21.5
Python: 3.7.12
OS: Windows-10-10.0.22621-SP0

    と、SLEAPのバージョン情報などが出力されます。

    また、SLEAPがGPUを利用できているかについては、

    python -c "import sleap; sleap.system_summary()"

    で確認できます。
    利用できているときは以下のような出力になります。

    GPUs: 1/1 available
  Device: /physical_device:GPU:0
         Available: True
       Initialized: False
     Memory growth: None

    次回以降はSLEAPの具体的な使い方について紹介できたらなと思います。

    おまけ

    パソコンどれを使えばいいのかわからない方へ、パソコン購入相談をココナラでやることにしました！

    あなたの要望に合わせてパソコンを選び、提案します パソコン選びに困っている方々へ！様々な目的に対応できます！

    パソコンを選んだり、アドバイスすることが多く多くの友人からパソコンの相談やったら儲かるのにと言われました。
    それに感化されて一旦やってみようと思いました！

    パソコンの利用目的に合わせて、そしてパソコンの予算に合わせて購入をご提案します。
    特に機械学習に用いるパソコンを多く選び、使ってきています。

    そして、希望があればパソコンを今後買う時にどこに注目すると良いかもアドバイスしていきたいと思います。

    今まで選んだことあるパソコンとして、研究室の解析用パソコン、実用パソコン、ゲーム配信用パソコン、大学の新入生用のパソコン、建築学科用のCADが使えるパソコン、とりあえずのパソコンなど。

    MacとWindowsの両方使っているので、どちらのお話、ご提案もできます！

    ぜひ利用してみてください

  • Python Video Annotatorインストール方法

    Python Video Annotatorインストール方法

    Python Video Annotatorとは

    Python Video Annotatorとは、撮影した動画を解析、動画内のイベントを時系列的にノートすることができるアプリケーションです。

    神経科学や行動学の研究者が、動物の動画を撮影し、その動物たちの行動を解析、定量するためなどに利用することができます。
    例として、マウスの行動を記録する際に、舌を出す、尻尾を振る、耳を動かすなど、記録したい行動があったとします。
    それが、動画のいつ起こっていて、どれぐらいの時間継続しているのか。
    毎度動画を見て、エクセルに記録するのだと、定義した行動が多いとあまりに大変です。
    こういったツールを用いることで、動画にノートとして記録し、時間情報やイベント情報を取り出すことができます。

    元々、動物の行動を記録するアプリケーションとして、VCodeと呼ばれるオープンソースのソフトがありました。
    しかし、現在のパソコンのOSに対応していないという問題がありました。

    Python Video Annotatorでは、最新のPCに対応し、必要な機能は残しつつ、さらに外部のセンサー情報(圧力計など)やDeepLabCutなどの行動定量ツールと組み合わせることができ、非常に研究を行う人にとって有用なツールとなっています。

    インストール方法

    ホームページにインストール方法は詳しく書かれていますが、僕のパソコンではうまく入れることができませんでした。（多分そのままインストールしたら、元々インストールされているパッケージとの相性が悪かったのかもしれません。）
    そこで、GitHubのサイトに記載されている、Anacondaを使って仮想環境を構築、インストールするという方法を行いました。

    言葉で言うと難しそうですが、やることは非常に簡単です。
    現在(2021年10月20日地点)では最新のmacOS(Big Sur 11.6)には対応していないらしく、近日中に改善されると思われます。
    なので、今回はWindowsを例にとって説明します。

    ただ、macOSでもAnacondaを入れて、condaコマンドを使えるようにしてからは基本的には操作は一緒なので、使えるようになったら参考にしてください。（詳しくは前回の記事より）

    Anacondaをインストールし、Anaconda promptを開きます。
    そして、仮想環境を作成し、仮想環境をアクティベートしましょう。

    conda create -n videoannotator python=3.6
conda activate videoannotator

    その後、必要なパッケージをインストールします。

    pip install opencv-python-headless pyqt5==5.14.1 pyqtwebengine==5.14.0

    その後、python Video Annotatorをインストールします。

    pip install python-video-annotator

    色々処理が終わったらインストール完了です。

    起動するときは、仮想環境をアクティベートしてから、実行します。

    conda activate videoannotator
start-video-annotator

    これでソフトが起動したら完了です。

  • macOSでCondaコマンドを使う

    macOSでCondaコマンドを使う

    MacOSでのAnacondaのインストール、ターミナルの環境設定を行いたいと思います。

    Anacondaのインストール

    Anacondaのホームページへと行き、下の方にスクロールするとダウンロードがあります。

    ここでは自分の環境にあったものをインストールしましょう。
    今回は、MacOSの説明なので、64-bit Graphical Installerを選択しましょう。

    インストーラーを起動し、指示に従ってインストールしましょう。

    Macでインストーラーが二つありますが、64-bit Graphical InstallerはGUIによってAnacondaをインストールする方法で、こちらの方が親しみが深く、何もなければこちらでAnacondaをインストールできます。

    64-bit Command Line Installerはダウンロードすると *.shのファイルがインストールされます。
    これはシェルスクリプトによるインストールで、ターミナルを使ってインストールする際に使用します。

    Linuxでのソフトのインストールがターミナルを用いたインストールが基本なので、Linuxに親しんでいる人はこちらの方がインストールしやすいんですかね。（多分）

    コマンドラインの環境設定

    MacOSでインストールすると、ソフト一覧にAnaconda-Navigaterが出てくるだけで、このままだとターミナルでAnacondaやPythonを使えません。

    ソフトのインストールなどで、condaコマンドを使用したい場合には、Anacondaを有効にしなければなりません。
    Anacondaを有効にするには(Conda コマンドを使えるようにするには)

    conda activate

    とする必要があります。
    これでcondaコマンドを使えるはずです。

    いちいちconda環境をアクティベートするのがめんどくさい方は、自動でconda環境を有効にすることもできます。
    その時にはターミナルで、

    ~/opt/anaconda3/bin/conda init シェル名

    とします。
    シェル名は自分の使用しているシェル名を使うのですが、なんだそれ、いじったことないぞという方はデフォルトのシェル(MacOSだとzsh)だと思うので、これをシェル名に代入しましょう。

    ~/opt/anaconda3/bin/conda init zsh

    これで、ターミナルを再起動すると、自動的にconda環境が有効になり、conda activateのコマンドを打たなくても良くなります。

    自動有効をオフにする場合には、

    conda config --set auto_activate_base false

    とターミナルで実行しましょう。

  • Pythonの例外処理を行うtry, except

    Pythonの例外処理を行うtry, except

    pythonでのプログラムの時に、エラーが起こることがあります。
    エラーはプログラムが正常に組み立てられていないことを示してくれるいいやつなのですが、
    時に、エラーのせいでプログラムが動かなくなってしまう時があります。

    構文的には正しいのに、実行時にエラーが出ることがあります。
    構文が文法的に正しくない時に出るエラーを構文エラー
    文法的に正しいのに、論理的に間違っているエラーを例外と言います。

    例外の例として、
    ・TypeError：演算する者同士の方が異なっている
    EX. word/2 , 4*number

    ・ZeroDivisionError：0で割ってしまっている
    EX. 3/0

    ・ValueError：型は合っているが、値が適切でない
    EX. int(“string”)

    条件分岐をすることによって、エラーを未然に防ぎ、論理的に正いプログラムを作成することも可能ですが、エラーが怒った時には例外処理を行うという処理を行うという選択肢を取ることもできます。

    その時に使用するのがtry, exceptです。

    try: 
    実行したい処理(例外を含むかもしれない)
except エラー名:
    例外発生時に行う処理

    といったように使います。
    例として、

    try:
    print(10 / 0)
except ZeroDivisionError:
    print('できませんでした')
    #出力
できませんでした

    となります。
    ただ、exceptで捉えることができるエラーは指定されたエラーのみ
    (今回のプログラムではZeroDivisionErrorのみ)なので、そのほかのエラーが発生した場合に関しては、プログラム実行時にエラーとして出力されます。

    複数のエラーが想定される際には、except　エラー名: を追加しましょう。

    try:
    print(10 / 0)
except ZeroDivisionError:
    print('できませんでした')
except ValueError:
    print('値がうまく合致しませんでした')

    except節は複数指定することができます。

    except節で例外名を全て指定しないと、全ての例外をキャッチすることが可能です。

    try:
    print(10 / 0)
except:
    print('できませんでした')

    ただ、これに関して、全ての例外をキャッチしてしまうということで、プログラム制作者が想定していない例外が発生した時にもそのエラーを隠してしまうので、使用する際には非常に注意が必要です。

    try-exceptの構文に関連して、例外が発生した後の処理を指定したりする説があります。
    それを軽く記述しておきます。
    詳しくは別のブログで紹介しようと思います。

    • raise：故意に例外を発生させる
    • pass：例外発生後に何も処理を行わない
    • else：例外が発生しなかった場合にのみ処理
    • finally：例外の発生に関わらず必ず処理

  • PythonでArduinoを制御したいのだ！

    PythonでArduinoを制御したいのだ！

    ArduinoはArduino言語によって制御します。
    ただ、もっと複雑な処理をしたい、何かのプログラムと一緒にArduinoを制御したいという時が訪れることでしょう。

    今回紹介するpySerialというモジュールはRaspberry PiやArduinoとシリアル通信を行うことができます。
    シリアル通信をすることによって、pythonのプログラムからArduinoやRaspberry Piに指令を出し、pythonプログラムを通して制御することができます。

    今回はその基本的なプログラム紹介します。
    これが使えるだけで、プログラムでできることの幅がかなり広がるでしょう。

    インストール方法

    pip install pyserial

    ターミナルやコマンドプロントでpythonを開き、インストールできます。
    もしくは、PyCharmなどのターミナルでインストールもできます。

    プログラム例

    今回は1秒ずつLEDをつけたり消したりするプログラムです。
    もともとArduinoについているLEDの13ピンに出力して検証したいと思います。
    Pythonのプログラムでは

    import serial, time

def main():
    #  COMポートを開く
    print("Open Port")
    ser = serial.Serial("COM3", 9600)
    while True:
        #  LED点灯
        ser.write(b"1")
        time.sleep(1)
        #  LED消灯
        ser.write(b"0")
        time.sleep(1)

    print("Close Port")
    ser.close()

if __name__ == '__main__':
    main()

    serial.Serialでポートと、シリアル通信の設定を行います。
    Arduino UNOでは9600を指定します。
    これはボードによって異なるので、Arduino IDEで確認しましょう。

    b”1″のbは非常に重要な役割を担っています。
    serial.write()関数では、シリアル通信をするためにはbyte列にして数字や文字列を送信しなければなりません。
    このようにして、byte列であることを示す必要性があります。

    このプログラムは無限ループなので、１秒ごとのLEDのオンオフがプログラムを止めるまで続きます。

    次にArduino側のプログラムです。

    void setup() {
  Serial.begin(9600);
  pinMode(13, OUTPUT);
  digitalWrite(13, LOW);  //  初期化
}

void loop() {
  byte var;
  var = Serial.read();
  switch(var){
    case '0':
      digitalWrite(13, LOW);
      break;
    case '1':
      digitalWrite(13, HIGH);
      break;
    default:
      break;
  }
}

    ここではswitch case構文を使っています。
    このほうがプログラムがわかりやすいです。
    詳しくは前回のブログを見てみてください。

    ここでは0が送信されるとLOW、1が送信されるとHIGHとなります。
    このプログラムをベースに使うことによって、色々なパターンでArduinoをPythonプログラムで制御することができます。

  • 詳しいことは分かりませんが、Pythonでプログラミングしたいです！（１）

    詳しいことは分かりませんが、Pythonでプログラミングしたいです！（１）

    プログラミングの勉強を始めるにあたって、いったい何から始めるかっていうのが最初の関門だと思います。
    ネットで調べたりしたはいいけど、そこからじゃあどうしましょう。プログラムを書くソフトは一体どうしたらいいの？

    僕自身それでかなり困りました。

    プログラムを書くにあたって書くためのツールが大きく二つあります。
    一つは対話型であり、一つは文章型です。(ここでは分かりやすく。正しいのかはイマイチわからないですが…)

    対話型は文章を一つ打ったら、一つ返答が返ってくる
    という具合に一文一文プログラムを書いて実行してを繰り返します。

    文章型は作文をしたらその感想が返ってくる
    というように、一気にプログラムを実行するイメージです。
    いわゆる想像するプログラムは文章型であり、訳のわからないコードがたくさん並んでいるように見えるかと思います。

    ただ、文章型のプログラムをしようとした際にじゃあ一体どのソフトでやるのか？というのが困ります。

    それも、プログラミングを学ぶ初級では対話型を行うことが多いが、中級になると急に文章のコードを書くようになり、何を使って書くかはあまり明記されなかったり、本によって全く違ったりします。

    対話型はコマンドプロントであったり、ターミナルなどの、もともとパソコン本体に既存のもので
    “Python”と打ってから始めます。

    しかし文章型のプログラムはどれで書くのでしょうか。

    文章型のプログラムの多くは、IDE(総合開発環境)によって書くことがほとんどです。(困ったときには”Python　IDE おすすめ”で検索するとたくさん記事が出てきます。)

    僕の文章型のプログラムを書くときに普段使っているのは
    Jupyter NotebookとPyCharmです。
    (Jupyter はジュピターと読む派と、ジュパイターと読む派がいるみたいです。)

    統計解析やグラフを書くときはJupyter Notebook、機械とか動かしたり、複雑なプログラムはPyCharmを使います。

    それぞれどんな感じなのかを説明していきたいと思います。

    まずJupyter Notebookについて。
    これはAnacondaをダウンロードすると付随して入ります。
    Jupyter Notebookを起動すると、まずSafariやFirefoxなどのパソコンのブラウザが開きます。

    そして、パソコンのファイル一覧が表示されます。
    そこで目的のフォルダーを開き、右上のほうにあるnewをクリック。
    その後、Python3をクリックすることで下の画像のような画面が開かれます。
    このファイルを保存すると　*.ipynbファイル　となります。

    一つ一つの塊にプログラムを打ち、上部にあるRUNというボタンをクリックすることによって、各固まりずつプログラムを動かすことができます。

    グラフや統計を行う際に、この一つの塊ずつコードを実行するというのはとても利点となります。
    なので僕はよく利用してます。

    PyCharmは　*.py　ファイルを開くときに使っています。
    開けるファイルが違うので、注意が必要です。

    PyCharmは他のサイトを参考にしてみてください。
    （まだあんまり使ったことがないので、詳しい使い方に関しては今後の記事で紹介したいと考えています。）

    Anacondaのサイトはこちらから

    Jupyter Notebookのサイトはこちらから

    PyCharmのサイトはこちらから
    ダウンロードはprofessionalではなく、灰色のCommunityのほうが無料で使えるほうです。
    はじめはそちらのダウンロードをおすすめします。

    Jupyter Notebookは最近頻繁につかっているので、僕の学習のメモとして、そしてプログラムを学びたい方向けに今後も更新していきたいと思います。