proj2021-09

[proj2021-09]

第34回　議事録

日時　12月3日(金)

場所　225号室

出席　全員

1,webサイト完成 ・動画を使い方を工夫して、フローチャートに入れたりと考え直さなければならない。 ・一旦適当な動画を作ってyoutubeに投稿した ・GitHubの作成はまた後で

2,最終発表について ・基本的に発表は1人2回、若林くんと宮崎くんは1回

3,番組表タイトル 無回転シュートゴラッソ分析〜AIで無回転シュートへの挑戦〜 AI×Iot〜手と体の動きで家電をコントロール〜 〜AIを使って美しい歩行姿勢を目指す旅へ〜 シュート育成計画〜シュート確率を上げる秘密とは〜 目指せ140キロ！〜君も140キロを目指さないか〜 Web会議×AIで快適に！〜カメラをonにしなくても、リアクションがわかるオンライン授業でちゃんと体育の授業ができる〜

[proj2021-09]

第33回　議事録

日時　12月1日(水)

場所　Google Meet

＊発表会のグループ分けについて 30分おきに3人グループで発表 亀井くんが割り当てを作ってきてくれた

＊スライド 全員でスライドを統一するために、 ・最背面に村上くんが送ってくれた画像を貼る ・スライドの上の方に、線を引いて、毎ページ小見出しをつける。

＊Webサイト 各自作ってきたWebサイトを提出して見比べ

＊次回まで ・各自動画を埋め込む ・自分の分析したところのプロフィール画像と一言を修正

[proj2021-09]

第32回　議事録

日時　11月26日(金）

場所　225教室

<進捗状況>

Web会議 あくびと真顔、そっぽを向いているを追加。際どいところの判定が微妙。

IoT バッテリー問題を解決。

野球 亀井くんのサポートで、しなりやステップ幅の計算ができた。身長の計算、出力結果をもう少し工夫したい。入力をjsonから変更していきたい。

バスケ プログラムは完成したけど、いま現在、被験者が怪我で、変わりのメンバーで土日撮影予定。

タッチレス リファクタリングした。

サッカー 前フレームとのボールの差で蹴り始めを判定。若干違うが、許容範囲内。

動画によって、解析結果が出力されない問題がある。

歩行 ユッケにあたってしまった・・・

<最終発表スライドの共通部分>

中間と同じ感じだけど、１枚にまとまっていた情報を分解して、わかりやすくしていった。

全体で各自やっていることを１枚にまとめてさらっと発表する。そのときに、時間帯も載せるとよさそう。グループ分けのスライドは、タイトルを変えて対応する。

<成果物のまとめwebサイトについて>

ベースとなるWebページは完成。水曜日に

<メンバー同士でコードレビューをした>

<宿題>

12/1(水)まで

public_html.zipのsample_dev_talk.htmlの編集

[proj2021-09]

第31回　議事録

日時　11月23日(水)

場所　Google Meet ほか

1.Webページについて YoloやOpenPoseの説明はWebページにいらない。 入れるとしても小さくて良い。 Webページに貼る紹介動画については、画面録画を使う。音声ではなく字幕にする。 Webは締め切りが近いため、武田、亀井、若林でmeet後、Webのデザインについて話し合い作成する。

2. 進捗状況 Web会議 口を開けたあくびや手で押さえたあくびを判定できるようにする。

IoT バッテリー問題が発生。 その後解決。

野球 亀井くんから教えてもらったcsvからやる方法を実行中。

バスケ コードを書きおわり、あとは実行するだけ。

タッチレス コードを見やすくするため調整中。

歩行 体調不良により進む事ができなかった

3.次回 コードが各々綺麗にかけているか相互チェックする。 A4　1枚分に自分のまとめを書いて提出。

[proj2021-09]

第30回　議事録

日時　11月19日(金) 場所　225教室

進捗状況 遊佐君 プログラム見た目の改善をする

バスケ 対象者が怪我してしまったためサンプル集めをし直す

佐野君 マウスでクリックしたら動くようにしたい オフラインを頑張りたい 日本のプロ選手のデータを集める

亀井君 ほぼ完成 目的にあったモデルを活用していきたい

サッカー yoloとopenposeの仮想環境が違くて行き詰まってる

井上君 指の形でテレビのチャンネルを変えることができた Webサイトのサンプル紹介 発表に使うバッテリーを買う

武田君 トレーニング用のプログラム レポートを作成

スライド案 遊佐君 作ったシステムの説明 中間発表との変化 どういうところで活用できるか

バスケ プロジェクト全体説明 なんで分析をしたのか 対象者の説明 作るまでの経緯 分析した結果 成果物の説明 対象者の変化

佐野君 タイトル 全体説明 個人の説明 作ったものの動画をみせる 作成したものの説明 作ったものの過程、苦労話 プロジェクト通して得られたこと

亀井君 プロジェクトの説明 前期のまとめ 後期の流れ、まとめ 自分の作った成果物を図などで説明 今後活用できそうなこと

サッカー 目次 無回転シュートのわかりやすい動画 分析方法 分析項目 感想

井上君 タイトル 全体説明 成果物説明 制作意図 使用ツールの話 デモ動画 まとめ

武田君 テーマ なぜ 開発したソリューション トレーニングソフトを詳しく 表情解析 苦労した点 まとめ感想

動画を使って全体説明をわかりやすく説明した方がいい

来週まで Word形式でストーリーを作成しておく スライドの基本は合わせる 基本グーグルスライドで作成

[proj2021-09]

第29回　議事録

日時　11月17日(水)

場所　Google Meet ほか

最終発表について

1.新しいまとめ案について

尾形先生の許可がいただけた。

Webにソースコードをまとめていき、みんなに活用してもらえる形で発表する。

詳細は自分たちが作ったWebページに飛んでみてもらう。

(ただし、これを行うためには他人に見せられるようなソースコードにすることが必要！！)

2.今後やることのまとめ

1)成果物の完成

2)コードをそれぞれで確認し、綺麗にする

3)説明用のWebページを作る

4)Youtubeを開設する(佐野)

5)スライド、スケジュール表

3.スライド等

2時間で1クールとして全体を通して2回行えるようにする

分野ごとで15分程度スライドで説明

2時間のスケジュール表を8つに区切って１つはプロジェクト全体の説明に使う

それぞれの分野の最初に簡単にプロジェクト説明を行う

4.その他

最終報告書6枚に向けて、少しずつまとめておいて

5.金曜日まで

簡単なスライドのイメージを考えてくる

[proj2021-09]

第28回　議事録

日時 11月13日　(土)

場所　Google Meet

1.どのようにWebページにJetsonを組み入れるかを考えた。

バスケやサッカー、歩行など他の撮影の際に機材をJetsonで制御するか(赤外線が使えるもの)

Wi-fiを利用してGaming　PCとなんやかんやする

(パソコンをルーターにできる機能があったのでそれを使うか)

2.そもそもWebページでまとめるのが良いのか

話し合いの結果、発表の段階でWebページをどのように発表するのか、時間を失うだけでないかとなった。

もともと、対面での発表を想定していたため、それぞれが作った機能を使うためにいちいちターミナルから起動させていたら面倒だからPCにまとめたらという考えだった。

しかし、オンラインでの発表となり１つのPCにまとめただけで自分たちが作った成果物を実際に使ってもらうことなく終わってしまうのでは。

使ってもらえないものを作るのは嫌だということになった。

3.代替案として

Jetsonグループは代替案として、自分たちの作った成果物を今後誰もが使用できるように、コード公開という形でまとめようとなった。Git Hubなどに1年間で作り上げてきたそれぞれのコードを公開し、尾形プロジェクトの1年間の研究成果としてまとめる形の方が良いのではないかとなった。

実際の使い方や使ってみての問題点などを尾形プロジェクトのwebページに記載し、多くの人が利用、応用できるような説明文を加えるのが良いという話になった。

4.デザイン班

デザイン班にもこのことを話し、全員から新しい案で進めようという意見をいただいた。説明文などを載せるwebページ作成は比較的進みが早い人を中心に行っていくこととなった。現状は亀井、村上、(若林、武田)で進めていこ���ということになっている。

5.今後の予定

1.11月17日に尾形先生にこのことを報告。先生からいただいたコードを参考にして行ったプロジェクトなのでGit Hubにコードを公開してもいいか聞いてみる。(ダメな場合、考える)

2.できる限り、早めに成果物を完成させる

3.コードを公開するのでそれぞれで確認し合い、見やすいコードにする。

4.Webページに着手する

5.Youtubeを開設しWebページに導入

[proj2021-09]

第27回　議事録

日時：11月12日　金曜2限 場所：225教室＋GoogleMeet

①進捗確認 ＜サッカー＞ 動画の中から画像1枚1枚のボールの座標を取り出す。しかし、認識できていない部分があるため、座標が取得できないところは前後から補完する。for文で各物体をそれぞれ回している。最終的にはレーダーチャート、蹴ったボール、動画全体を表示する。

＜バスケ＞ キーのSを押したら解析が始まるようにしたいが、上手くいかない。try文を消したら原因がわかるかもしれない。

＜野球＞ レーダーチャートで出そうと思っていたが、プロ野球選手の動画を使えるかわからない。人によってフォームが違うため正解の基準が難しい。オフラインの解析を亀井くんに教えてもらう。身長から足幅の長さを求めたい。

＜歩行＞ 点数化とコメントを表示する。レーダーチャートの表示形式を検討中。これまでの取り組みを文字起こし中。

＜オンライン授業＞ 数字を選択してトレーニングと組み合わせる方法ができなかった。来週までに問題を解決したい。

＜認証＞ 正解のときに文字を表示できるようにした。日本語が表示できない問題がある。文字と一緒に画面をチカチカ光らせる。

＜IoT＞ 手で数字を表すときに０〜９を表示できるはずが９で固定されてしまう。初期化が上手くできていない可能性があるので再度プログラムを見直す。

②Webデザイン 各自考えてきたデザインを共有。

亀井君 ・サッカーボール、野球ボールなどの画像がトップページに表示されていて、それぞれの画像をクリックしたら該当ページに飛ぶ。

村上君 ・上部のバーにホームボタンと４つの項目を並べる。 ・ホームにタイトルと写真、簡単な説明、それぞれのテーマに飛べる７つのリンクを載せる。 ・プロジェクトのホームページとの違いをどうするか。 ・他のプロジェクトでは、学内に宣伝用ポスターを掲載している。

遊佐君 ・アクセスしたらトップ画面にサッカーを解析している動画などを表示する。

宮崎君 ・シンプルさと余白を重視。白か黒をメインカラーにする。

佐野君 ・中間発表のタイトルをトップに表示する。 ・リンクを押したら詳細ページに移動。

菊池君 ・画像や動画ではなく、アニメーションをメインにする。

若林君 ・クリックしなくても詳細を表示する。

井上 ・スライドしたらメニューが動く。

武田君 ・スマホのように使いやすいサイト。 ・画像だけにする。 ・GoogleMeetを使う。

＜まとめ＞ ・黒か白をメインカラーにする。 ・余白を使って、スッキリと見やすくする。 ・みんなの成果を繋いだ動画をトップに表示する。

③JetsonをWebページにどう組み込むか？ 5A出力のモバイルバッテリーが使えそう。JetsonとゲーミングPCを繋ぎ、Webページを遠隔操作したい。赤外線よりはWi-Fiで繋いだようが良さそう。

④今後の予定 土曜の22時：Webデザイン考える。 土曜の21時：JetsonをWebページに組み込む方法を考える。 11/17水曜2限：最終発表に向けた話し合いのため、ネットワーク実習室かGoogleMeetに集まる。

[proj2021-09]

第２6回　議事録

日時：11月5日（金） 場所：225教室

◯最終発表に向けた制作 Web上でスポーツやwithコロナなどの項目を選択し、動画をアップロードし、仮想カメラの上で実行結果を写し出せるようにしたい。

＜GitHubの利用＞ メンバーが各々アカウントを作り、リポジトリを共有

◯各チームの進捗 ＜サッカー＞ ・前回の点数化に関する問題、ボールをトリミングし動画にする問題は解決。 課題:点数化する範囲をYOLOなどで実装すること

＜野球＞ リアルタイムで腕のシナリ以外の項目をレーダーチャートで指すことはできている。今後はオフラインに着手する

＜バスケ＞ リアルタイム動画のスタートストップをキーボードで操作してレーダーチャートを出すことはできた。 課題:点数化の指標づくりの方向性を考える

＜IoT＞ C++で書いてある指を認識するコードをPythonでできるようにしたい。また、最終成果の方針も検討中

＜歩行＞ 90%できている。 課題:見せ方と動画における人かどうかの認識

＜オンライン授業＞ スクワットのレポートを出すときに最初に何回やるかを決めろときにタｯチレスのように数字を選択して入力できるようにした。

＜認証＞ パネルを敷き詰めるのはやめて隙間を入れたことで腕の軌道がわかりやすくした。あってるあってないの判定も作った。前回までの問題は解決したと思われる。使い方を考える

◯今後の予定 ・11/12 対面

[proj2021-09]

第２５回　議事録

日時：１０月２７日（水） 場所：Google Meet、ネットワーク実習室

◯最終発表に向けた制作 ＜やりたいこと＞ 『各制作物をWebブラウザ上で使うことができるサービス』

＜ローカルで実装する場合の操作手順＞ ゲーミングPCでHTMLファイルを開く→ユーザがWebページ上の動画、アイコン等を選択→該当するプログラムが起動

＜メリット＞ ・ユーザがanacondaを起動するなどの複雑な操作をする必要がなくなる ・制作にかかる時間的にもリーズナブル

＊仕様＊ ・ブラウザ画面上に表示する（別ウィンドウは生成しない） ・HTMLの中でPythonの実行ファイルを呼ぶ ・インターネットは経由しない

＜GitHubの利用＞ HTMLの共有・編集はGitHubを利用する 井上君が環境整備→その後、メンバーに共有

◯各チームの進捗 ＜サッカー＞ ・前回の撮影で無回転シュートを打てていたのに、点数化すると悪い判定になる。逆手が隠れてしまっているのが原因か →評価の方法を再考する

＜野球＞ ・リアルタイム解析だと腕の“しなり”が計測できないため、オフライン解析への変更を検討中 →リアルタイム／オフラインの両方で実装できるのが理想

＜バスケ＞ ・ボタンを押して解析開始→短い時間の動きを解析→終了のタイミングもボタン（or特定の動きを判断基準とする） →ひとまずボタンでの操作ができるようにする

＜IoT＞ ・Jetson Nanoで指の本数を解析することもできると判明 →体の動きやポーズだけでなく、指のサインで家電製品を操作できるシステムが作れないか思索中

＜歩行＞ ・前方向からの分析に挑戦 ・マスクの影響で顔のパーツが解析できず、顔面上に別の骨格が表示される問題が発生 ・後ろに人が写っていてcmuでの解析が不安 →ゲーミングPCで動かしてみて解析されるか否かを確認

＜オンライン授業＞ ・体育のオンライン授業の「見てレポートを書く」スタイルに革新的なアイデアを提案。顔を見せたくない学生向けに表情のアイコンを表示するシステムを制作 →根幹の部分は完成したため、サービスの幅を広げていく

＜認証＞ ・斜め動作の問題 →セルを八角形にして通過した辺を動きの判断基準に使う →セルを敷き詰めず、一定の間隔を空ける

◯今後の予定 ・今週（金）21時〜、Google Meetにて作業（武田君、若林君）

[proj2021-09]

第24回　議事録

日時　10月22日(金曜日) 場所　225教室 欠席　遊佐・武田（オンラインでの出席）

活動内容 <1年生へのインタビュー内容への確認> 開発班 もう少し自分たちが何をしたのかを説明できたらいい

<現在の状況> 歩行 プログラムを組んでいる最中 レーダーチャートを作成中

サッカー Yoloの認識が複雑そう 無回転をどうやって認識するか

野球 レーダーチャートの作成までできた

バスケ もう少し下手な人の分析もやってみてはどうか

IoT 手の動きを解析 肘の角度で腕を上げたらカウント

<最終的な内容> ウェブページを作り、自分たちがやってきた内容を掲載する。 解析のソースコードも載せることで他の人にも使ってもらえるようにする まだ決まっていないので、来週の水曜日にもう一度話し合う。

[proj2021-09]

第23回 議事録

日時 10月15日（金曜日）

場所 225教室

欠席 なし

＜進捗＞

＊サッカー

Excelで分析してスコア化し、それをレーダーチャートにして可視化する。

＊バスケ

Excelを使って、対象者と上手い人を比較して違いをまた見つけた。

Excelで分析してスコア化し、それをレーダーチャートにして可視化する予定。

＊野球

あまり進捗はなく、次の撮影でまたサンプル採取

＊歩行

Tan（傾き）を使って、歩行を解析。

＊IOT

先週とほとんど変わらず、手で動かして電気を消したりする。

＊遊佐くん

画面で細かく分けたフレームを使いながら手を動かして

＊武田くん

先週のに加えてまた違う項目でリアムタイムで解析

＜1年生のインタビューについて＞

1年生の入門ゼミでプロジェクトにインタビューをするので3つのグループに分けた。

企画：若林・菊池・亀井

プログラム：武田・井上・遊佐

グループワーク：宮崎・村上・佐野

＜10月20日（水曜日）の撮影について＞

10月20日（水曜日）の10時くらいから稲田多摩川公園で野球・サッカー・歩行の撮影をする。

三脚はバスケ部と教務課から借りる。

カメラも教務課から借りる。

＜次回＞

来週22日(金)は対面の方針。

[proj2021-09]

第22回議事録

日時　　10月8日(金曜日)

場所　　オンライン(Google Meet)

欠席者　なし

＜重要＞

もう、インタービュー時に完成しないと大変。

結構時間があったけど、成果物がでていない。

＜進捗＞

-バスケ-

投げ始めが解析できているから、よさそうだけど、黄色いボールは普通のバスケットボールと大きさが違う。色違いの普通のバスケットボールの大きさを探す。膝や重心などバランスに注目したスコア化を目指す。

-歩行-

解析結果から、分析指標を設けて、点数化するプログラムを作成中。腕のフリや0除算の問題は解決できそう。

-サッカー-

エクセル表中心に指標はほぼできていてる。ただ、重心の指標で悩んでいる。上手い人は重心が外に出ていて、そうでない人は重心がなかにある。これから、亀井くんのをお手本にPythonに組み込んでいく。

シュートするときに、解析できないから、補完する？

足の解析した骨格が入れ替わってしまう。クロスしたら補正をかけるようにする？

リアルタイム解析は難しそうだから、動画で解析を出して評価できる方針にする。

-野球-

しなりは、座標の差でやったけど位置間駅でできなかった。

リアルタイムでしなり解析は、動きが早いので難しい。

かかとがついた時と肘など３つの指標を可視化出来た。

後は点数化、座標の正規化、が今後の課題。

-Web会議-

体育のオンライン授業用に、トレーニング測定を作った。

いろんなトレーニングの種類や負担を計算したい。

-IoT-

顎に手を添えると、電気が消える。

-タッチレス-

測定マトリックスの生成と削除判定を作成。

山場は超えた！

＜まとめ＞

みんな結構、成果物がもう一歩のところまで来ているので、10月26日のインタビュー時にまとまった成果物を見せれることを目標にしていく。

＜次回＞

来週13日(水)は、多摩川でサンプル動画をとる。

来週15日(金)は、対面の方針。

[proj2021-09]

第21回　議事録

日時　10月1日(日曜日) 場所　オンライン(Google Meet) 欠席　なし ＜活動内容＞ -スポーツ+歩行- 解析をする際、対象の距離が違うと座標の動きに差が生じてしまい、等しいグラフなどが作れない ・解決策 三脚などを使い距離を固定する 角度で測る 腕の長さを合わせる Yoloで認識した人やボールを基準にして考える 遊佐くんの場合は、鼻と腰で位置を出しているのでそこを参考にするなど

-歩行- リアルタイムなどではなく、その場で撮った動画をRなどで解析できないか検討中 FAXを送る事ができなかったため、アメリカの教授に直接メールを送ることを検討

＜北グラウンドの件＞ 金曜日に借りることはできない。 ２、３週間前に連絡する必要あり。 小学校など北グラウンド以外の借りれるところを模索

＜その他＞ 基本班と応用班でもっと会話が必要 どのようなエクセルを出力させたいか、どこを開始地点にするかなど

みんなでPythonの勉強する機会を作る。 水曜日もプロジェクトを行なっていく可能性あり

[proj2021-09]

第20回　議事録

日時　9月24日(金曜日)

場所　225 欠席　なし

<活動内容> 意見交換 役割分担 撮影 　 <意見> 特殊なプロジェクトで役割分担ができていない 基礎班と応用班に分ける プロジェクトでの自分の役割を理解 各自が色々なことをやっていて、企画から作成まで最後までやり通すことが強み 自分にとってのプロジェクトはなんだったのか、そこから何を学んだのか、それであなたは何をしたのか、どんな苦労をした、どんな問題が起きたか、その問題をどうやって解決したのか、プロジェクトの中身そのものではなく、そこでのその人の成長、問題の捉え方を理解 ゼミとプロジェクトの違い このプロジェクトのメリット やりたいことゴールを決めて活動 AI（骨格認識）などは道具であってこれをどうアプローチするか 進路がIT系の人は、プラットホームをこんなふうに考えて、そのためにはなにをやったかわかるようにシステム設計をはっきりする 面接でプロジェクトの話は聞かれるのでまとめておいた方がいい

<役割分担> 基礎　武田君、遊佐君、井上君、若林君 応用　亀井君、佐野君、村上君、宮崎君、菊池

次回連絡 オンライン

[proj2021-09]

第19回　議事録

日時　9月12日(日曜日)　14:30~17:00

場所　オンライン(Google Meet)

欠席　なし

<活動内容>

-歩行姿勢- (亀井)

宮崎くんの歩行姿勢を解析

阪大のsample画像を解析

尾形先生の提供してくれたグラフ補完のプログラムの動作

分析の結果をより明確にする指標が必要

モデルさんの歩き方や健康なトレーナーの歩き方を指標に

-Iotシステム- (井上)

かめはめ波のポーズやマッスルポーズから円の画像を表示

角度や座標をうまく使って導入した

家電操作を計画してリモコンの素材を集めた

Pigpioというところでエラーが出て詰まっている

Git Hubの利用や違うパッケージを利用すると解決するかも

-野球- (佐野)

武田くんと協力してリアルタイム解析の作業中

x座標の差から腕のしなりを計測

腕の速さに追いつけない分析の描画時間を調整していく

次の授業の時に9人分の投球フォームを撮影する予定

-サッカー-(若林、村上)

9個ぐらいのポイントに絞った

足が残像になって計測できないことがあった

データ補完のプログラムを低次元でやってみる

分析動画の動画時間を統一して分析のずれを減らす

機械的に捉えられない部分は手を入れて補う

動画撮影のためにグラウンドを利用したい

-バスケ-(菊池、宮崎)

忙しくてあまりできなかった

腕の動きをデータ補完プログラムを使ってより正確に捉えたい

対象者の動画を更新する予定

ボールを入れる理想の角度はわかったが、どう処理すればいいかわからない

Yoloを利用してボールの動きを追いたい(学校のPCならいけるかも)

-Web会議システム-(武田)

亀井、佐野のリアルタイム分析に着手

歩行姿勢のリアルタイム分析は難あり

真横に来ると座標が消えてしまうのも問題

カメラの位置から出てしまう誤差を両肩の座標を利用してうまく補完できないか

リアルタイム分析のコードを理解できたので他のメンバーにも共有していく

顔の表情を認識するシステムを作る

動きで果物を切るゲームも導入したい

電源問題は未だ未解決

-本人認証-(遊佐)

Macでできる限界まで進んでいる

技術的に問題はなさそうなので、あとはやってみるだけ

顔が隠れると人間と認識されない>>>gaming pcのcmuならセーフ

<その他>

-注意-

Directのメッセージにはきちんと反応しよう(常識)

-連絡-

後期は基本対面で行う(225教室~前期と同じ教室)

しかし、コロナで大学側の対応は厳しいのでできるところはオンラインで使い分ける

-尾形先生の人生の先輩としてのありがたいお言葉-

みんなの進路は色々でok

就活の面接時にプロジェクト活動は絶対聞かれることで、企業側からしてもものすごく興味があるところ

別々の分野の勉強をしてきた学生が共同作業で何かに取り組むという活動自体に希少性がある

プロジェクト活動で自分が何に取り組んできたかをうまく説明できると自分を宣伝できるチャンスになる

そのために行動１つ１つをしっかり考えて取り組んでいくことが必要

(例)どうして取り組んでいるか、なぜこれを使ったか、それから何を学んだか

実際にAI に触れて社会にどのよう��役に立つのか　など

後期の授業では自分の望む進路、やりたいことをプロジェクトと結びつけながら取り組んで欲しい

将来像とプロジェクトを関連づける努力

-尾形先生おすすめ-

面接でうまく説明するために自分の活動をゼミノートや2~3枚の紙にまとめるといいかも

就活の時に形としてあると明確にアピールできるから

<次回の連絡>

9月24日は対面で行う (前期と同じ教室)

Gaming pcを持っている4人は持っていく

昼休みも使いたいのでお弁当を持参(みんなでわいわい食べよう!!)

＊時間が足らなくなるのでそのうち水曜日も使うかも

＊Webカメラ、webカメラ三脚、延長コードを購入予定

[proj2021-09]

第18回　議事録

日時：8月27日（金）

場所：オンライン（Google Meet）

欠席：村上

進捗確認

サッカー（村上・若林）

腰の角度をグラフで可視化し、プロとの違いを見つけた。現在は別の指標を見つけるため、動画を分析中。今後の作戦についてサッカーチームで話し合う。

バスケ（菊池・宮崎）

７つの項目に着目して、グラフ化した。グラフでは上手い人と対象者の過去と現在を比べた。対象者は以前より上手い人の体の使い方に近づいた。膝や尻に関しては上手い人はあまり動いていないのに対し、対象者はよく動いていた。今後はリアルタイムで点数化をしていきたい。ボールの軌道を分析するところで行き詰まっている。

野球（佐野）

リアルタイムで分析することを目標に取り組んでいる。現在は自身の投球フォームで腕のしなりの角度やスピード、リリースの高さを分析。右手首などの加速度をグラフで可視化したところ、リリースポイントに向かって加速していて、投げ終わりに減速していることがわかった。今後は球を投げる瞬間を分析。メンバー9人分の投げるフォームを分析できたら面白そう。

歩行姿勢（亀井）

以前に録った佐野くんの歩行姿勢を分析。悪い姿勢のパターンを見つけ、対象者がどのパターンに当てはまるかを判別。耳・肩・尻のx座標の差を可視化。差が大きいと姿勢が悪いことが読み取れる。腕の振り幅を計測するために、重心からの距離で大体の振り幅を計測した。欠損データはグラフで補完した。また、尻・膝・足首のx,y座標から膝の曲がり具合を計測した。今後はリアルタイムで歩行姿勢を点数化し、姿勢年齢を表示するシステムを作りたい。阪大のベンチマークは尾形先生と相談。（詳しくはPDF参照）

Web会議システム（武田）

リアルタイムで角度を求め、グラフで可視化するプログラムを作成。顔を隠すプログラムを作成したが、端にあたると消えてしまう問題点がある。Zoomだけでなく、GoogleMeetでも骨格認識することに成功。角度を求めるプログラムは他の人にも応用できそう。手話で手の動きを解析したり、バーチャルレッスンしたりできたら面白そう。

IoTシステム（井上）

物体検出や挙手検知のプログラムでLINEに通知したり、LEDを点灯させたりしていた。MacBookと比べ、Jetson Nanoではプログラムを実行するのにかなり時間がかかる。実行できても骨格推定ではかなりのタイムラグがある。そこで処理を高速化するために様々なオープンソースをインストールをしてみたが、あまり上手くいかなかった。現段階では実用的な速度を出せていないので今後の課題である。またラズパイカメラの画角が狭く、体全体を収めるには５メートルほど離れないといけないので、広角カメラの購入を検討する。

本人認証（遊佐）

run_webcam.pyに200行追加し、測定マトリクスを描画するプログラムを作成。鼻の高さと腰の位置を出して、鼻から腰までの長さを３で割り、その長さの正方形で９分割した。マトリクスを固定するためのプログラムを作成しているが、右手首の座標が追いかけられていない問題がある。夏休み明けにゲーミングPCを受け取り、問題を解決していきたい。

今後の予定

自分たちの作戦を決めておかないと時間が足りなくなる。最終的にどうしていくか。７つのグループそのままで行くか、いくつかにグルーピングするか。個人個人やるよりは、プログラムとやり方と基盤を共有し、みんなで分担してやっていく方が良いのではないか。

リアルタイムで角度を求め、グラフで可視化するプログラムではピンポイントで分析したい指標を抜き出していくことは可能。腕の振りのスピードについていけるか心配だが、ゲーミングPCで10FPSだから実用性がある。武田くんにプログラムの基盤を作ってもらい、大学に集まるのは厳しそうなので、リモートで行う。まずは佐野くんか亀井くんがリアルタイムで行いたい分析を明確にする。あと2台のゲーミングPCのセットアップはまだ終わっていないので、それを優先して終わらせる。そのうち1台は宮崎くんから亀井くんに渡す。各自webカメラを購入する。

次回のミーティング：9月12日（時間は未定）