uechi.io/_posts/2014-12-16-myo-armband.md

177 lines
5.8 KiB
Markdown
Raw Normal View History

2017-10-07 11:43:26 +09:00
---
title: Take control of Chrome with Myo Armband
date: 2014-12-16 09:00:00 +09:00
2019-08-14 21:24:49 +09:00
redirect_from: "/blog/2014/12/16/myo-armband"
2017-10-07 11:43:26 +09:00
---
2018-07-19 20:53:12 +09:00
Thalmic Labs の MYO アームバンドが届いたので Google Chrome をマイノリティ・リポートっぽいジェスチャーで操作する Myo Scripts を書いてみる。
2017-10-07 11:43:26 +09:00
### 主な情報源
- <https://developer.thalmic.com/start/>
- <https://www.thalmic.com/blog/tag/myo-scripting-basics/>
- <https://developer.thalmic.com/docs/api_reference/platform/script-tutorial.html>
# 基本
2018-07-19 20:53:12 +09:00
Lua で記述し、拡張子は**.myo**を使う。
2017-10-07 11:43:26 +09:00
2018-07-19 20:53:12 +09:00
作成したスクリプトは Myo Connect を経由してアームバンドとやりとりをすることになる。
2017-10-07 11:43:26 +09:00
> デバッグコマンドとして`myo.debug(obj)`が用意されている。
## scriptId
スクリプトを識別するための`scriptId`は必ず書かなければならない。
```lua
scriptId = 'co.randompaper.myo.chrome'
```
## onForegroundWindowChange(app, title)
```lua
function onForegroundWindowChange(app, title)
return app == "com.google.Chrome"
end
```
2018-07-19 20:53:12 +09:00
onForegroundWindowChange の返り値が**true**の場合、スクリプトをアクティブにする。つまり上のように書けば Google Chrome のウィンドウが最前面に出ている時だけスクリプトを有効化させることが出来る。
2017-10-07 11:43:26 +09:00
いかなる状況でもジェスチャーをハンドルしたい場合は以下のように書く。
```lua
function onForegroundWindowChange(app, title)
return true
end
```
2018-07-19 20:53:12 +09:00
実際には、**親指と中指でダブルタップ** するジェスチャーを検知した後に、全ての Myo Scripts の onForegroundWindowChange を呼び出している。そして true が返ってきたスクリプトのみを実行している。
2017-10-07 11:43:26 +09:00
アクティブになったスクリプトは一定時間が経過してアームバンドがロックされるまでイベントハンドラーが呼ばれ続ける。
## onPoseEdge(pose, edge)
スクリプトがアクティブになっている間に行われたジェスチャーをハンドルするメソッド。
```lua
function onPoseEdge(pose, edge)
if pose == 'fist' and edge == 'on' then
myo.debug("グー")
elseif pose == 'fist' and edge == 'off' then
myo.debug("グーじゃなくなった")
end
end
```
2018-07-19 20:53:12 +09:00
### pose の種類
2017-10-07 11:43:26 +09:00
2018-07-19 20:53:12 +09:00
| pose | 意味 |
| ------------- | ------------------------ |
| rest | 安静時 |
| fist | 握り拳 |
| fingersSpread | 手を開く |
| waveIn | 手首を手前に曲げる |
| waveOut | 手首を手前とは逆に曲げる |
| doubleTap | 中指と親指でダブルタップ |
| unknown | 判別不能 |
2017-10-07 11:43:26 +09:00
## onPeriodic()
```lua
function onPeriodic()
roll = myo.getRoll()
myo.debug(roll)
end
```
2018-07-19 20:53:12 +09:00
onPeriodic はスクリプトがアクティブな間ずっと呼ばれ続ける。常にアームバンドのジャイロ情報を取得してなんやかんやしたい時に使う。
2017-10-07 11:43:26 +09:00
# 実装
以上のハンドラーを駆使し作ってみる。
2018-07-19 20:53:12 +09:00
今回のように Google Chrome のスクロール操作をアームバンドのジェスチャーでやりたい場合、**onPeriodic** で`myo.getRoll()`メソッドを呼び出せば手首の回転する角度を取得出来るわけである。しかし、そのまま**onPeriodic**上にスクロールを行うコードを続けて書くと常にアームバンドの傾き具合でスクロールされてしまい困る。
2017-10-07 11:43:26 +09:00
そこで、「握り拳を握っている間だけ手首の傾きによってウェブページをスクロールさせる」ようにする。
## 握り拳を握っている間だけ手首の傾きによってウェブページをスクロールさせる
2018-07-19 20:53:12 +09:00
初めにグローバルで `enableScroll` 変数を宣言し、false で初期化する。
2017-10-07 11:43:26 +09:00
```lua
enableScroll = false
```
2018-07-19 20:53:12 +09:00
そして、onPoseEdge に握り拳が握られると enableScroll を true に、戻ると false にするコードを書く。
2017-10-07 11:43:26 +09:00
```lua
function onPoseEdge(pose, edge)
if pose == 'fist' and edge == 'on' then
enableScroll = true
elseif pose == 'fist' and edge == 'off' then
enableScroll = false
end
end
```
2018-07-19 20:53:12 +09:00
最後に onPeriodic で手首の角度を取得してキーボードの ↑ か ↓ を連打するコードを書く。
2017-10-07 11:43:26 +09:00
```lua
function onPeriodic()
if enableScroll then
roll = myo.getRoll()
key = ''
if roll < -0.05 then
key = 'up_arrow'
elseif roll > 0.05 then
key = 'down_arrow'
end
if key ~= '' then
myo.keyboard(key, 'press')
end
end
end
```
2018-07-19 20:53:12 +09:00
実際にこのスクリプトを動かしてみると上手くスクロールしない。myo.getRoll()で取得した角度は絶対的な角度だからだ。握り拳が作られた瞬間の角度を 0 として扱った方がプログラムの見通しも良くなる。
2017-10-07 11:43:26 +09:00
2018-07-19 20:53:12 +09:00
そこで新たに initRoll 変数をグローバルで宣言する。そして onPoseEdge を以下のように修正する。
2017-10-07 11:43:26 +09:00
```lua
function onPoseEdge(pose, edge)
if pose == 'fist' and edge == 'on' then
initRoll = myo.getRoll()
enableScroll = true
elseif pose == 'fist' and edge == 'off' then
enableScroll = false
end
end
```
2018-07-19 20:53:12 +09:00
続けて onPeriodic の
2017-10-07 11:43:26 +09:00
```lua
roll = myo.getRoll()
```
を、
```lua
roll = myo.getRoll() - initRoll
```
に修正する。
2018-07-19 20:53:12 +09:00
これで、絶対角度を握り拳が握られた瞬間の手首の角度を 0 とする相対角度を取得出来る。
2017-10-07 11:43:26 +09:00
2018-07-19 20:53:12 +09:00
実際に動くスクリプトを Github で[公開している](https://github.com/uetchy/myo-scripts)。
2017-10-07 11:43:26 +09:00
### 番外編
2018-07-19 20:53:12 +09:00
Myo C++ SDK を使ってアイアンマンみたいなジェスチャーでレーザーガンを撃った気分になれるアプリを作った。
2017-10-07 11:43:26 +09:00
[uetchy/myo-gun](https://github.com/uetchy/myo-gun)