#Bluefruit LE Micro

[tsubakicraft]

ナビコントローラーに使うキーパッドを動かしてみる

隼に搭載するナビコントローラー用のキーパッドを実際にBluefruit LE Microに接続して動かしてみました。 Adafruitさんの商品説明ページを見ると、8つのピンのうち、左から３つはキーパッドの列を認識するためのもの、続く４つは行を認識するためのものということです。 マイコン側にはこれらのピンをデジタルI/Oピンの5、6、9、10、11、12、13に配線しました。他のデジタルI／Oピンは使われているので、それらを避けた結果です。 押されたキーを素直に送信し、アプリ側の受け方を少し変えて動作確認しました。 「＊」と「#」のキーは、例えば「＊」の直後に「1」を押したら「A」として扱うというようにして、送信するキーコードを増やします。…

[panjapop]

The Metaplasm

The Metaplasm is a mixed reality piece that consists of a computational leather prosthetic and an augmented computer vision app. The shoulder garment computes the wearer's movement data to the app which mixes a phantom augmentation of floating images with their live camera feed. 

I was inspired by a section in Wendy Chun’s Updating to Remain the Same that talked about phone users feeling their mobile phones vibrate without a phone call being attempted. This phenomenon was equated with phantom limb syndrome where amputees often have strong sensations of their missing limb in random circumstances and without explanation. I was curious about how we could use technology to illuminate subconscious internal thought patterns, an altered state of some sort with the potential to unlock areas within our brain.

Since the success of the smart phone and it's suite of social apps, wearable tech gadgets have started to bleed into our daily lives  in their drive to help us perform better. But they are also subtly changing our behaviours, turning us into performance junkies and driving us to loose touch with our previous internal selves. I was interested in exploring what our internal selves might look like?  So I began to research different artists that worked with prosthetics to hack their bodies in different ways to create different sensations.

The australian cypriot performance artist Stelarc uses his body as a rich interaction platform, visibly hacking it with electronics to blur the boundaries between man and machine. In his Third Hand project a cyborg like robotic arm attachment is controlled by the EMG signals from other parts of the performer's body. Rebecca Horn’s Body sculptures and extensions are shaped by imagining the body as a machine. In her Extensions series Horn’s armatures remind of 19th century orthopaedic prosthetics supporting an injured body. Her armatures are redirecting the body's purpose, turning it into an instrument and often inducing a feeling of torture.

Ling Tan’s Reality Mediators are wearable prosthetics that cause unpleasant sensations when the wearer’s brain activity or muscle movement are low. Her project is a direct comment on to the effect current wearables have on our perception of the world around us and the way these products alter our daily behaviours.

I decided on designing a shoulder prosthetic that communicates with a computer vision app to allow it's wearer play with an augmented trail of images. It was important to me to present the experience as a clash of two worlds. The old world was represented by the prosthetic which took great inspiration in victorian prosthetics. I researched the look of these at the Wellcome Collection. But I also wanted the prosthetic to look really attractive and contemporary. Here 

I took visual inspiration from Olga Noronha's Ortho Prosthetics series. Rather then being a tool to help the physical body function better the prosthetic had the purpose to unlock and help navigate an internal monologue of thought images represented by the projection. The images featured stuff in our head that alludes from online shopping activity to stuff we see out and about. The camera feed holds the wearer as the centre point surrounded by a crude collection of stuff.

Reading Donna Harraway's Companion Species I came across a great section where she talks about metaplasms. She explains "I use metaplasm to mean the remodelling of dog and human flesh, remolding the codes of life, in the history of companien-species relating." Whilst Haraway explores the blurred boundaries in relationships between dogs and humans, this descriptor felt to be a very fitting title for an experience that aims to illuminate internal phantoms, that accumulate inside of us and we have no idea how to control.

I began dividing my project into two parts: The physical prosthetic and the augmented computer vision app. Having played with the latter in my last project I decided to concentrate on the physical aspects first. Here I decided to use the Arduino compatible Adafruit Flora board with the LSM303 Accelerometer Compass Sensor. I also initially thought I would make the whole experience wireless and ordered the Bluefruit LE Bluetooth Module and the rechargeable LiPo battery pack. It was important to get the components onto my physical body asap to start testing where they should sit for their maximum efficiency. I layed them out on some cheap felt and sewed them on with conductive thread according to the great help section on the Adafruit website. Despite getting the bluetooth communication to work immediately I struggled to add on the accelerometer too. The connections seemed temperamental so I decided to remove the bluetooth simplify the cross component communication. Later I got some advice that made me rethink the use of bluetooth in the church and decided that a 3m long micro usb would actually suit my aesthetic whilst making the experience more reliable. I also at this point decided to solder silicon wires onto the board instead of the less conductive thread. Now my connections were very stable and I got clear differences when moving my arm. I used the accelsensor file that came with the LSM 303 library and tested my movements in the Serial Monitor. I integrated last values and current values to let the app create a different value for the acceleration by subtracting the last value from the current value. I found it hard though to separate the x y z values from each other and making these be linked to understandable directions when sitting on the lower arm. To save time I decided to add all the difference values together with the abs function to create a single agitation value that was then communicated to the app. I tested the communication between the electronics and openframeworks with ofSerial to make sure the app would receive the values ok before parking the tech development and concentrate on the design of the prosthetic.

From doing my initial tests with the electronics I knew that I needed the Flora board on the shoulder and the accelerometer lower down on the arm. I wanted to make the prosthetic as adjustable as possible accommodating as many different body sizes as possible. I started by using thick wall paper lining paper to cut my first pattern fitting it to a size 8 dressmaker dummy that I have at home. I created loads of adjustable straps to adapt the distances between neck, shoulder and lower arm. From there I moved onto cutting it out from dressmakers Calico and sewing it together to make my next prototype. In the meantime I researched a leather workshop that sold amazing fittings such as brass Sam Browns and brass eyelids to pin the leather to the bottom layer of calico and make adjustable fittings. There I also found cheap leather off cuts to make my next prototype. Being fairly happy with my paper pattern it was time to digitise it by scanning it on a flat bed scanner and then to trace and tidy the lines in illustrator. At this point I also created the exact openings for the electronics. I wanted to create little pockets that would allow me to whip them out quickly to replace them in case they got broken. I placed the Flora board and the accelerometer on little calico pieces sewing the connections down so they became more protected. I also designed little leather flaps to cover and further protect the areas where the wires were soldered onto the board. Now that I had a digital pattern I was able to laser cut the leather as a last test before my final prototype. The laser cutter charred the leather at the edges producing an overwhelming bbq charcoal smell that I didn’t want in my final piece. I assembled the prototype to see whether I needed to make any final changes to the digital pattern. Now I was able to instruct a leather worker to cut out my final piece from the leather following my printed out pattern and referencing the assembled prototype whilst doing so.

It was time to move on with creating the augmented phantom. For this I used Vanderlin's box2d addon to add real physics behaviour to the floating augmented images. I used the 'joint' example that consisted of several joints and lines and a anchor. I combined this file with the openCV haarfinder example so that the app once detects a face could hang this joint example onto the user's shoulder. I created a separate class for the box2D trail and fed in my movement data by creating a variable to affect the trail. I created black outline squares and little white circles to mirror the aestetic of the computervision app and tested my movements. At this point I brought in some random images fed them into a vector to draw them into the outline squares on the same x/y values. Playing around with it I decided that it would be nice if the images would randomly reload adding an element of surprise and control for the user. I build an algorithm that would reload the vector when the user's agitation data accelerated the trail to the top of the screen. This worked pretty well and by this point it was time to test it in location.

I knew my installation set-up was going to be challenging as I had to project on a full height wall whilst meeting the lighting needs of a computer vision app. I was positioned by the edge to the big space of the church, the beginning of an area that was meant to be semi dark whilst receiving all the light from the big space. The BenQ short throw projector was surprisingly powerful to give a pretty crisp and high lumen projection in a semi dark space. I fit a PS3 Eyegrabber camera on the wall of the projection and a spot light further up shining at the user and in direction of the projector. I fitted a hanging sheet over the wall thereby hiding the camera except for a little hole where the lense could fit through. I hung my shoulder prosthetic from the ceiling with a thin bungee elastic allowing it to be pulled down to different heights without any accidents. 

Now I was ready to test the interaction space and positions of the lamp by bringing in players of different heights all throughout the day for several days. Despite everyone's lighting requirements in the big open space getting nailed down and fitted with my own I found the experience quite frustrating as the natural daylight would change throughout the day and I could do anything about that. I settled with the shortcomings and carried on refining the app. For this I decided to produce 50 images representing daily life and modern world meme’s. These I loaded into the app to create a good level of variation to delight the user. Then I created a screen shot facility to record interactions ie take a screenshot every time the app sees a face and every 20 seconds of interaction, so I wouldn’t get too many.  I also decided to design a fixing hook for my bungee so the user could take it off the elastic and wouldn’t get tangled up in it whilst moving about.

Testing the prosthesis on well over 100 users over the course of 3 days and observing each person interact with it convinced me to build the experience wireless next time. It was a real joy to witness the different interaction behaviours users came up with. Some wanted to dance, some were play acting, some wanted to use leap motion behaviours to grab the images and some were just terrified. Overseeing this process and closely engaging with over 40 users on opening night alone was really fascinating, despite also being very tiring. I temporarily considered hiring someone but wouldn't have had the time to train them to say the right things nor ask the right questions. It was great to so closely engage with people, dressing the different body shapes and constantly learning about what could be made different. A lot of users obviously suggested a more personalised experience ie. their own images. Talking through with them what this would mean though in terms of a privacy opt in and an open projection of their online activity they quickly understood that the player take up would be low and the experience would most likely also look very different. I hope my conceptual approach to this matter gave them enough food for thought to imagine what images might be floating in their heads though. But I also came across some interesting potential use cases from my audience. One worked with paraplegic kids and suggested the experience to have potential as a training app to a reinvigorate a lazy arm. I had a similar comment from an Alexander technique teacher. I'm interested in exploring this further and looking into integrating sensory feedback or linking the prosthetic to another device.

Overall I’m really happy with the prosthetic. It fitted most body sizes with a few exceptions. I would like to make a few adaptations but am otherwise very happy with the look and feel of it. If I had had more time I would have integrated a little vibrator within the shoulder to add sensory feedback when the user reloaded the vector or pulled in a particular image. I would definitely decide on a more controlled lighting set-up with a bigger interaction space, potentially even a huge monitor and a wireless prosthetic. Despite these constraints I was surprised how many users enjoyed playing with the images ignoring the obvious glitchiness of the facial tracking.

[tsubakicraft]

自作ナビアプリ用のBluetoothコントローラーの部品を交換

自作ナビアプリを遠隔操作するBluetoothコントローラーを作るための部品が揃いました。 すべてAdafruitさんの製品で、3×4のキーパッド、Bluefruit LE Micro、リチウムポリマーバッテリー、バッテリー充電基盤です。 完成時の大きさはキーパッドの大きさの中に収まりそうです。 コントローラーの厚みもなんとか許容範囲かな。バッテリーのコネクターを外して基盤に直接はんだ付けすればもう少し薄くできそうです。 隼への取り付けですが、グリップから少し手を浮かさないとすべてのキーを押せそうにありませんが、なんとか使える位置に取り付けられそうです。 専用のキーパッドを自作すればもっとスッキリした物ができると思いますが、ケースの設計や製作をするのが大変だし設備も情熱もないので、第一弾はなるべく簡単な作りにします。…

[tsubakicraft]

簡易ナビアプリ用のバイクコントローラーを試作しながら考える

Bluefruit LE Microとタクトスイッチを使ったBLEリモコンの試作。 回路は簡単なもので、タクトスイッチの一方の端子をグラウンドに、もう一方の端子をマイコンのデジタルI/Oピンに接続し、ピンモードをINPUT_PULLUPに設定して、各ピンをdigitalReadしたときにLOWを検出したら対応する文字をBLE送信するというもの。 動画は動かしている様子です。

[tsubakicraft]

簡易ナビアプリ用のバイクコントローラーを考える

自作のナビアプリの方はナビの開始・終了、地図の縮尺（半径１００メートル、半径５００メートル、半径１キロメートル）の変更、リルート用のルート選択画面の表示とルート選択（３つまで）などの機能をキー入力によって実行できるようにしてあります。手持ちのAdafruit Bluefruit LE MicroというBLEモジュールの載ったAVRマイコンをHIDキーボードにしてナビを操作することを考えています。リチウムポリマー電池と充電回路もあるので、キーパッドやスイッチも接続して、ハンドルの左グリップの近くに取り付けられたらと思います。 写真はAdafruitのキーパッドです。（現在在庫切れ）寸法は51mm（横）64mm（縦）11mm（���）というもので、これくらいの大きさなら邪魔にはならない感じ。 デイトナさんがバイク用のスマートコントローラーという製品を出しています。…

[tsubakicraft]

ドラカメと速度警告灯の作成記録まとめ

ドラカメと速度警告灯の製作の記録を投稿しましたが、ブログから記事を拾うのが大変なのでまとめました。試行錯誤や右往左往の様子も含めて『ドラカメ』プロジェクトの全貌をお伝えできればと思います。 課題はたくさんあります。バイクの振動を拾うので綺麗に動画を撮影できないとか、市販のドライブレコーダーのように記録した動画にタイムスタンプやスピードを動画に重ねられていないとか。それでも多少でもモノづくりの参考になればという想いで、恥ずかしい部分も含めてすべてを公開しました。 速度警告灯をバイクに搭載した様子です。 ドラカメをバイクに搭載した様子です。   以下、関連記事の一覧です。 マイコンスピードメーターを作ろうか 最初は手元にあって遊んでいるAdafruitのBluefruit LE…

[tsubakicraft]

今日もGPSスピードメーター&簡易ドライブレコーダーの試験

GPSロギング機能も含めてテストしました。 ケースとiPhoneを合わせた重量を支えるにはマウントが弱いので映像の揺れが激しいです。マウント位置が悪いので前方が良く見えていませんが、撮影した映像がこれです。 現時点でのアプリケーションの画面です。 ホーム画面。録画ボタン、Gセンサー感度設定、自動録画（走り出すと録画を開始する）設定、画質設定、音声録音設定、GPSロギング設定、動画一覧表示ボタンがあります。 動画一覧画面。動画の名前は記録開始時のタイムスタンプです。 GPSログ一覧画面。ファイル名は記録開始時のタイムスタンプが含まれており、動画とログが対応するようになっています。…

[tsubakicraft]

マイコンスピードメーターの続き６

スピードメーター（乗り掛かった船）の続きです。 ルート検索して距離を求めて地図に経路を描くところまで。 まだ地図の制御がいい加減で使える感じではありません。 販売（または公開）されているナビアプリのような動きにするまでには、かなり頑張らないといけませんが、少しずつ進めたいと思います。 昨日、このアプリを動かしながら買い物に行きましたが、GPSの精度が良いのか、結構いい感じに速度が表示されました。 バイクにマイコンスピードメーターを取り付ける場合、速度やナビ情報の一部を表示すると使いや��いと思いますが、取り付け場所を確保するのと、防水防塵ケースを作るのに苦労するかもしれません。もしかするとLEDで速度警告灯を作るだけで良いかもしれません。それだけならバイクの車速センサーの信号を取り出して表示すれば良いので、この試作は捨てることになるかもしれません。…

[tsubakicraft]

マイコンスピードメーターの続き４

この投稿の続きです。 実用に供するシステムはこれとは違うものになるような気がしていますが、乗り掛かった船なのでしばらく続けます。受信側のBluefruit LE Microの動きを試すために、iPhoneアプリを作りました。CoreBluetooth、CoreLocation、MapKitを使った簡単なアプリです。 動いている様子です。実際にiPhoneを持って移動すれば、誤差はあるもののGPSから移動速度が得られ、その値をマイコン側で送信しますが、下の動画では擬似的な速度の値を送信しています。

[tsubakicraft]

マイコンスピードメーターの続き３

この投稿の続きです。 AdafruitさんのAdafruit_GFXライブラリとAdafruit_ST7735ライブラリを使ってTFT液晶に表示をするようにしたものです。描画が遅くて使えそうにありません。7セグメントLEDを使うか、もっと高速に描画できる仕組みに変えるなどを検討する必要があります。 ソースコードはGitHubに載せてあります。  

[tsubakicraft]

マイコンスピードメーターの続き２

Bluefruit LE Microをバッテリーで運用できるようにバッテリーとバッテリーチャージャーを購入しました。バッテリーチャージャーはドーターボードのようなものでBluefruit LE Microにハンダ付けしました。 で、この続きです。 最終的にはTFT液晶を使おうと思っていますが、とりあえず動いているのが見えるようにOLEDのキャラクタディスプレイを接続しました。インターフェースはi2cです。使用したのはSO1602AというタイプのOLEDディスプレイで秋月電子通商さんから購入したものです。 ソースコードはGitHubに置いてあります。ここにはSO1602Aを扱うライブラリも含まれています。 動いている様子。 起動すると接続待ち状態になり表示がINITIALIZINGからWAITINGに変わる セントラルデバイスから接続すると表示がCONNECTEDに変わる…

[tsubakicraft]

マイコンスピードメーターの続き

昨日の続きです。 工房に使っていないGenuino 101があったので、このマイコンボードをBLEセントラルにしてBluefruit LE Microに接続を試みました。 試みましたがデバイスをスキャンして接続まではいけますがサービスとキャラクタリスティックの取得に失敗します。今日の時点では原因がわかりません。CurieBLE->Central->PeripheralExplorerというスケッチのサンプルを元に書いたコードですが、何か根本的なところで勘違いをしているような気がします。今日は時間切れなので後日調査します。   LightBlueというスマホアプリを使うとBluefruitに接続してキャラクタリスティックへの書き込みができます。 Bluefruit側は昨日のバージョンから少し手直ししました。昨日のBLE…

[tsubakicraft]

マイコンスピードメーターを作ろうか

そろそろ入れ替えを考えているオートバイ。XJR1300からもう少しタンデムでの長距離高速走行に向いているものを検討中です。 これまで交通違反と言えば速度超過のみ。他には助手席シートベルトをしていない違反をしたのみです。それほどスピードを出しているつもりはなくても大型バイクはスピードが出てしまうものです。検討している次期オートバイはXJR1300に比べてスピードが出るモデルなので、うっかりすると大変なことになります。…

[tsubakicraft]

GPSスピードメーター・簡易ナビをキーパッドで操作した様子 結局、キーパッドから30種類のキーコードを送信できるようにしました。 現時点ではアプリ側で使用するキーコードは8種類です。まだまだ機能を追加できます。

[tsubakicraft]

Koshianブレークアウトボード

随分前に購入したKoshian用の基盤があります。確かAmazonでたまたま見つけたもの。 今、バイク用の速度警告灯を作ろうと、Adafruit社のBluefruit LE MicroというAVRマイコンとBluetoothモジュールが合体したマイコンボードを使う前提で作業していました。 BluefruitはArduino Miniとあまり変わらない小さなボードですが、LED回路とバッテリーを接続すると、そんなに小さくまとまらない感じです。 LEDを点灯させる程度なら、もっと小さく簡単な方法があると思って、マイコンを保管している箱を漁ったら未使用のBluetoothモジュールKoshianを見つけました。 そこで前���のブレークアウト基盤にKoshianをハンダ付けしました。 このピッチのハンダ付けは僕に難易度がとても高い。見えないし。…

[tsubakicraft]

GPSスピードメーター&簡易ドライブレコーダーのマウントの振動抑止にゴムを使うも

昨日の夕方に自作したアルミのマウントの結合部分にゴムを挟んで防振対策をしたので、今日はそれを試すために延べ１時間半ほどドラレコで映像を記録しながら走ってみました。 昨日、給電を停止すると自動的に録画を終了するようにプログラムを修正したので、USBケーブルをバイクのUSBソケットに挿したまま使用するのが前提ならば、アプリを起動さえしておけば、走り出すと勝手に録画を開始し、駐車してエンジンを止めれば勝手に録画を終了するので、ほぼアプリを手で操作する必要がなくなりました。機能に関しては動画にタイムスタンプや速度をオーバーレイできていないのが残念なくらいで、GPSロギングやスピード表示も含めて問題はなさそうです。あとは細かなエラーチェックやBLE接続ロジックを少し煮詰める程度で十分かもしれません。 画質は1280×720/30fpsで音声録音無しという条件で使用した際のファイルサイズです。…