yoshida2020

[yoshida2020]

42まとめ(2021/01/13)

今日は最終報告書の全体での再確認とプロジェクトの振り返り会を行った。

最終報告書はすでに二回校正し、あとは各自で印刷して読んでみて修正箇所があったら修正する。月曜には完成版を作りもう一度先生にチェックしてもらって完全に完成版となる。

プロジェクトの振り返り会では、全員から一言ずつ貰ってこの一年間を振り返った。オンラインで行ったため実際に会って活動したかったことや進捗管理が難しいかったといったことが挙げられた。

あと、もう少しで吉田プロジェクト2020としての活動は終了である。ラストスパート頑張っていこうと思う。

[yoshida2020]

41最終発表振り返り(2020/12/23)

12/16〜12/22の活動報告

・最終発表の振り返り

・最終報告書について

・来年の活動日の決定

 本日の活動

最終発表で出てきた質問の共有を行った。

 今後の活動

年内に各班で最終報告書の手直しを行う。

[yoshida2020]

40最終発表練習(2020/12/16)

12/9-12/15の活動報告

・食品管理班のwebアプリのデバック

・最終発表用のスライド完成

・動画の作成

本日の活動

12/19に行われる最終発表会の発表練習。

動画の再生できるかどうか確認。

最終発表まであと数日、頑張りましょう！

[yoshida2020]

39定期報告会(2020/12/9)

12/2-12/8の活動報告

〇食品管理班

・全員でスライドの修正点を探して修正を行った。

・バグを見つけることができたので１、２日作業を行えば完成させることができる。

今後の予定

・動画の作成など発表の準備に備える。

・デバッグはcss以外は完了した。あとはcssを直すのみ。

〇忘れ物班

今週行ったこと

 ・プロジェクトサイトのテコ入れ 

・最終発表スライド作成 

・FlaskでAPIを作成し、Webアプリケーションと連携を行おうとした。しかし、APIを作成する際に画像認識結果を読み込むことが上手く出来なかった。

〇案内班

・スマホアプリのプロ��タイプ完成（ただし動かない）

・画像認識の範囲拡大

〇全体

・プロジェクトのウェブサイト完成

・発表用スライドと動画完成予定

[yoshida2020]

38定期報告会(2020/12/2)

11/25-12/1の活動報告

〇食品管理班

・旬の食材を春夏5つまとめた。

・秋冬の食材を集めた。説明をこの後書く

・アプリを改造しようとしたらエラーが出て動かなくなってしまった。デバッグ中

今後の活動

・デバックと旬の食材の改善　

〇忘れ物管理班

今週の活動

・プロジェクトサイトのテコ入れ→サイトをほとんど完成させた。

・画像認識班はとりあえず、システムの作成をするためにまず、学習データをローカルで実行できるようにした(エラーが起きたりもしたがなんとか解決した)。

・複数の物体を検知するデータセットの精度を少し上げた。

・FlaskでAPIを作成するためにネットの記事を参考にコードを書いてみている。(jsonファイルにして転送する?)

今後行うこと

・APIをWebアプリケーションで扱えるようにする。

〇案内班

・ＵＩをカメラ起動のみのシンプルなものに修正

・xcodeを使ったUIを制作していたが、カメラを起動するのと画像を配置することができず、挫折している。

・10号館の物で認識できるものを増やそうと頑張っている 今後の活動

・スマホアプリのUI作成

・ 引き続き10号館の物で認識できるものを増やす

〇全体

・発表スケジュールの確定

・発表スライドの改修

・発表時に使う動画の作成

[yoshida2020]

37定期報告会(2020/11/25)

11/18-11/24の活動報告

〇食品管理班

・進捗はほとんどない

・WEBでml5.jsの継続学習の資料を集め

今後→旬の食材の資料の調べ――季節：春夏

今後→旬の食材資料の調べ――季節：秋冬

今後→webアプリケーションの結果をシステムに渡す方法を調べる

 1つの食材につき食材の画像、説明、旬の時期をまとめる

〇忘れ物班

今週の活動

・先週のエラー修正後から、忘れ物になりそうな物の認識を行なった(筆箱、スマートフォン、財布)。

・今までは、一つのものを画像認識するものであったが、複数のものを識別するデータセットの作成も行ってみた。

・プロジェクトサイトのテコ入れ

これから行うこと

・学習データの精度を上げる。

・サイトにデータを載せる方法を考える。

・プロジェクトサイトのテコ入れの続き

〇案内班

・今週の成果は方針を変えたことにより、htmlでカメラを起動させたのち、openCVに画像データを送る方法を調べている。なかなか手軽にできるものが見つかっていない状��なので、直接データを手渡しの方が良いのかと考えている 

・スマホアプリを制作するためのツールを探して、xcodeで作ることに決めた。基本的にはC言語での制作を考えている。C言語で写真をとり画像を当波くんに送信して処理した画像を送り返していただき、それを表示する為のインターフェースを作ろうと考えている。

・認識した物体の位置を地図に表示するようにした。機能面ではこれが限界だと思う。理想は撮影者の位置をマッピングしたり、目的地までの道のりを表示したかったが、自分の力が足りないためそこまで行けそうにないとう。

〇全体

・来週までにプロジェクトのサイトのテコ入れ完了

・発表スライド（仮）作成完了

・プロトタイプの完成

[yoshida2020]

36定期報告会(2020/11/18)

11/11-11/17の活動報告

◯食品管理班

・トマト画像100枚くらいで画像認識を行ったが、りんごとライチ、人がトマトになってしまっている。

・桃の画像認識を行ったが、学習する画像が少ないか時間が少ないため完璧に読み取れてはいない。

・ウェブの画像認識で、サイズが大きい画像の全体を表せない問題、再選択する場合に新しい画像が古い画像の上に表示してしまう問題とスマホでの不具合が解決した。今後はmodel.jsonとmodel.weights.binの利用で、ml5.jsの転移学習（識別できる種類を増やす）の方法を学習する。APPの方はまだ進んでいない。

今後の方針

・追加学習したものをWEBに組み込む方法。

・画像認識の学習を進める。

◯忘れ物班

今週行ったこと

・プロジェクトサイトのテコ入れ

・画像認識班では、プログラムでエラーが生じたため修正を行いました。

・筆箱の画像認識を行い、一応うまくいきました。

今後やること

・タグ付けと画像認識を分担して行い、財布と携帯で画像認識を行う。

・プロジェクトサイトのテコ入れ

◯案内班

・webアプリにPythonのコードのリンクを組み込んだがテキストデータでしか表示されないので原因などの調査中。

・大学内の写真撮って色々試している

・まだまだ精度が高くありませんがこんな感じで物を識別して囲み、その上の名前を表示するという物を作りました。今週中に精度の向上と地図上に赤点を表示するプログラムを作ろうと考えている。

今後やること

・先生に相談し、Pythonのソースコードの使い方の別の視点のアプローチを教えてもらったので、インターフェイスとして今までのものに一工夫入れる

・画像認識は���度向上

◯最終発表に向けて

・発表のスライド作成のため各班原稿を来週の火曜までに作成

・プロトタイプの完成の目処を12月1週目までに設定

[yoshida2020]

35定期報告会(2020/11/11)

11/4-11/10の活動報告

◯食品管理班

・画像を集め中。

・roboflowでタグ付けした範囲が認識されなかった。自分のやり方にミスがあったのか、やり方そのものが間違っているのかわからない。Roboflowの無料会員だと画像1000枚が限界。

・画像認識をスマホにもできるように勉強中（スマホでは不具合が出る）。

・スタイルシートをスマホにも適応できるように改善。

今後の方針

・スライド作成までに今やっていることを集中して行う

・webアプリケーション作成を進める。

・画像認識の学習を行う

◯忘れ物班

・Webアプリケーションのテコ入れ 

・画像認識に利用するタグ付け、roboflowでデータセットに変換

◯案内班

・カメラとのリンクとほかのファイルとかとリンクを繋げるか確認作業

・Pythonとかのファイルでリンクは上手くいかなかったので来週までに原因調査と改修

・カスケード分類機で正しく判別できるようになった

・今後は学校に写真を取りに行って学校のものを識別させてみる

<今後全体でやることリスト>

 ・動画班に必要な素材収集の協力 

・各チーム最終的に成果物を出せるような方向性を固めておく。 

・プロジェクトのwebサイトに載せたい画像がある場合は報告(来週の活動まで) 

・最終発表に関するチーム分けをしたのでそのメンバーでも作業に動きだしておく

[yoshida2020]

34定期報告会(2020/11/04)

10/28-11/03の活動報告

◯食品管理班

・データベースについて調べたましたが見つけられなかった。今後、ブログで見たデータセットをやって見たい

・アプリケーションのデータベースをやり直し

・Web上での画像認識、画像をアップロードしてから画像認識がもうすぐできそう

・今後、webとアプリ両方を改善

定期報告会を踏まえて

・Google vision の文字認識をつかうといいのではないかと先生が指摘。

・それについて以前も調べていたが、調査が必要。

・対象を桃、ミカンに設定

◯忘れ物班

今週の活動

・Webアプリケーションのテコ入れ

・YOLOv5でマスクを付けている人、付けていない人の識別をする。

・VoTTで画像のタグ付けを始める。

今後やること

・Webアプリケーションのテコ入れ

・学習データを作成する

◯案内班

・webのデザインの変え方調べて、ボタンの改良とそこからリンク先にとべるように改良

・カスケード分類機の精度が上がらず苦戦。YOLOへの展望を視野に。

今後

・webではカメラとのリンクや外部とのリンク設計

・適当なプログラミングとの組み合わせ

・先生が紹介してくれる先輩の話を聞き、画像認識の試行

[yoshida2020]

33定期報告会(2020/10/28)

10/21-10/27の活動報告

〇食品管理班

・画像認識を色々なデータセットを用いてやってみたがうまく読み取れなかった。

・前回の画像認識で上手く出来なかった箇所を行ったがそれ以上のことができなかった。

・画像をWEBサイトにアップロードできるようにしてみたがエラーが発生してしまった。

・WEBアプリケーション自体はできたがエラーが多く主にデータベースの部分を直す必要がある。

・データセットに問題がありそう。新しいデータセットを見つけることを優先したほうがよさそうだ。

やるべきこと

・画像認識の精度を上げる。

・WEBアプリのデバッグを行う。

・WEBアプリとYOLOの機能を組み合わせる。

 〇忘れ物班

・WebアプリケーションはFlaskの学習

・画像認識はGoogle ColaboratoryでYOLOv5を利用してみる。

・オンラインインタビューを行い、システムのレビューをして頂きました。

 今後やること

・オンラインインタビューで頂いた意見を基に各自活動する。

1. 持ってこられた忘れ物と登録されたデータにある忘れ物が一致するか確認できるようにする(アイデア次第)

2.忘れ物を全てリスト化して忘れ物の概要を確認できるようにする

3.警察署に管轄が移る忘れ物をリスト化して、学生に警察署にある旨をご案内した時点でリスト削除できるようにすること。

4. ・画像を撮影するタイミングと検出方法の改善。

・YOLOからのデータをWebアプリケーションに連携させる方法を探す

・アプリケーションの微調整

・Flaskの学習を引き続き行う。

〇案内班

・webアプリケーションのホームのバグ修正、微調整

・ボタンの設置まで完了

・  Opencvでカスケード分類器を何度も設定変えて作っていますがまだ上手くいかず、試行中

今後やること

・上記の事柄の改修と試行

〇全体

最終発表に向け役割分担の選定ととそれに付随する作業が決まり次第、同時進行しながら今後は作業

[yoshida2020]

32定期報告会&一年生のインタビュー対応会議(2020/10/21)

10/14-10/20の活動報告

〇食品管理班

・先週教わったGoogle Colabで、いままで自分のパソコンでできなかった学習をやってみた。マスクをつけているかいないかの学習はできそうだったが、今やろうとしている果物の学習はデータ量が大きく時間がかかりすぎることがわかった。

・学習できたが、実行ができなかった。もう一度やってみる。

・rubyでのYOLOの実行。今はデバッグをしている。

・Webアプリケーションと画像認識との結合を試す。

 ・1年生に提供する成果物をdirectにあげることを確認

これから

1人は今やっている課題を進める

もう一人は先週清水君が挙げたサイトの学習を行う。

最後の一人は二人目の成果を見て次に何をやるのか決定する

 〇忘れ物班

今週やったこと

・Flaskの学習

・Webアプリケーションのデザインのテコ入れ

・ディープラーニング以外の部分の作成

・システムレビューの準備

・Google Colaboratoryの利用

次週までにやること

・引き続きFlaskの学習

・YOLOからのデータをWebアプリケーションに連携させる方法を探す

・ディープラーニング以外の部分の完成(仮)

・システムレビューの準備、発表

 〇案内班

・webアプリのソースコードの共有

・カスケード分類機作成

〇会議内容

・インタビューにおけるチーム分けの決定

・一年生に渡す写真などをドライブにまとめておく。

・写真に関して各班ドライブにアップしておく。1年生による要望などはその都度連絡する。

 〇全体における話

・情報共有は大事なため、技術(画像認識)班の情報共有は積極的にするように。

・来週あたりに情報共有のため、食品管理班はGoogle Colaboratoryを用いたYOLOの利用を発表

・Google Colaboratoryの有料会員になるかどうかに関して、プロジェクトの経費で落とせるか先生に確認してもらうことに。

・細かい間違いでもそれを見る人には気になるため、正しい日本語表記にすること。また、画像認識技術のライブラリの名称に使われる大文字、小文字をしっかり区別して正確に表記するように。

 案内班への指摘

・参考までに1枚の画像から何千枚の写真を取得するのは大変なので、動画を用いて水増しすると良いのではないか、正しい学習ができるのではないか。

[yoshida2020]

31定期報告会&一年生のインタビュー対応会議(2020/10/14)

10/07-10/13の活動報告。

◯食品管理班

・合成果物データセットを使用で学習しようとしたが、PCのスペックが原因でとても大きな時間がかかるようだ。今後、班員が示したサイトを元に画像認識をしていく。

・ローカルPCのwebカメラ使用・グーグルの利用でyoloを使っての画像認識リンクを発見。

・yoloのJavaScriptを試して見ました。

①普段のhtmlとJavaScriptだけの方がweb上デプロイできて、パソコンで成功に識別できた。しかし、スマホの方が識別できないようだ。

②rubyのアプリケーションでyoloも試して見たが、JavaScriptの使い方、プログラミング言語の違いなど仕組みの違いによって、まだ再学習が必要。

・今後はyoloのJavaScript の中身の改造（スマホにも対応できるようにするとか）やrubyでyoloの実装ための勉強、画面の細かい調整などをやる予定。

◯忘れ物班

Webアプリケーション班

・Flaskの学習

・APIを触りました。

画像認識班

・機械学習以外のコード作成

・openCVとYoLoを試す

次回までにやること

・Flaskの学習を引き続き行う。

・学習データの作成

・YoLoから認識したデータを扱えるようにする

◯案内班

webアプリ

・webアプリのホーム画面を作成。まだ、ベースができただけで、大きさや配置、デザインがまだなので、来週ボタンの作成とともに修正していく予定。

・加えて写真も映る時とそうでない時があるのでパスの修正。

・スケジュールの見直し。

画像認識

・顔を検出するプログラムを作成。これは動画で行なっており、顔が動くと赤い四角も動く。顔を検出するための学習データはOpenCVが用意したものを使っているだけなので、来週までに学習データを自作できる学習機を作ろうと思う。それと四角で囲むだけでなく、上の物体の名前や学校の地図を表示して赤点をうつ機能も追加しようと思う。

◯先生からのアドバイス

・機械学習と深層学習（ディープラーニング）の位置づけをしっかりした方が良い

・グループごとの技術共有をしっかり行った方が良い。３グループ間の画像認識の情報共有をしっかり行う。

◎一年生のインタビューに関する話し合い

決まったこと

・１年生からのインタビュー３人のチーム分けこのまま３つの班か、画像認識・ウェブアプリケーション・管理班の３つか、中間発表の班かいつもの3班に分かれる事に決定

・各班の成果物（やっていることやできた事）を見せるために画像などを集める。

・自分の班が何をしているのかをスライド（パワーポイント）にまとめる。各班画像認識ひとつウェブアプリ一つを最低限集める。

[yoshida2020]

30定期報告会(2020/10/07)

9/30-10/06の活動報告。

◯食品管理班

・YOLO V5を使ってみて問題なく動作したことを確認できた。

・yolo+p5.j5 →ml5.js(JavaScript)をWEBアプリでできるかどうかを試した。

・WEBアプリのデザインを進めた

今後やること

・OLO V5の追加学習をおこなう。

・YOLOをWEBアプリに実装とデザインを進める。

◯忘れ物班

WEBアプリケーション班

・Flaskの学習

画像認識班

・Tensorflowのプログラムの実施

・YoLoを試してみた。

次回までにやること

・Webアプリケーション班は引き続きFlaskの学習

・画像認識班はYoLoとカスケード分類器の方向性で考えることにする。簡単な骨組みの作成、実装方法を調べてみる。

・レビューしてもらうための発表内容を考える。

◯案内アプリ班

webアプリ班

・アプリのホーム作成のためFlask学習

・webアプリケーションの全体的なプラットフォームの作成

・機能の見直しを検討

画像認識班

・ 位置情報は計算で求めるのが一番現実的と思うためそのための学習

・作業スケジュールの再考、調整

次回までにやること

・webアプリの最低限の形を作り、お披露目

[yoshida2020]

29定期報告会(2020/09/30)

9/23-9/29の活動報告。

◯食品管理班

・YOLOを使ってリンゴとバナナの判別に成功　

・画像認識を勉強し直した

・js,cssなどを勉強しながら画面のデザインを作成中

議題：webサイト上で画像認識を何を使って実装するか

YOLOをサイトに組み込めるのかは不明

データセットからモデルを作ってやる方法もある

どのような方法でやったら良いか

吉田先生に客観的な意見を聞くことで一致

◯忘れ物班

Webアプリケーション班

・デザインのテコ入れ

・Flaskの学習

画像認識班

・カスケード分類器の完成(スマホの検知には失敗)

・Chormeの拡張機能であるimage_downloaderの追加

・Tensorflowを利用したプログラムの修正

次週までにやること

Webアプリ班

・Flaskを引き続き学習する

・Webアプリケーションの微調整

画像認識班

・物体検知の精度を上げる(複数検知できるようにする)

・Tensorflowのプログラムの修正

◯案内班

Webアプリ班

・エラーをようやく直せて実際にWebに文字を表記できるようになったという初期段階

・役割分担を行い、画面遷移図でかいたホーム画面を作ることになり、鋭意作成中

・カメラを起動する画面を制作しようと頑張っております。しかし、作る段階の途中経過でプログラミングを埋め込む作業は後回しにした方が良いと考えたので履歴画面を制作している途中

画像認識班

・OpenCV4の9章にあるオブジェクト検出というものをやりたいと思っているのですが、この本では用意された学習データを使用しており、その学習データ自体の作成方法を調べたりしたり、考えたりしています。 まだ決定的な物が見つかっていない状況

[yoshida2020]

28定期報告会(2020/09/23)

9/16-9/22の活動報告。

◯食品管理班

・林檎画像を集めました。１０００枚くらい。choromeのimage downloaderの拡張機能を使用しました。

・google image downloadでバナナの画像が少ない→100枚くらい。集まっていない感じです。

・（食品識別）画像認識の機能以外は大体終わっているようです。ウェブページのUIデザインがイメージ図のような物に完成できるように、学習中です。

来週画像認識できる人：画像認識、

できない人：データ収集（みかん、トマト、人参、じゃがいも）、旬の食材の編集、

9/23

吉田先生からアドバイスをもらい、以前候補に挙がっていたyoloを試すことになった。

今まで通り画像から学習させる画像認識とyoloを並行して試し、どちらがいいか判断することにする。景さんは画面デザインの学習をし、webページのデザインを進める。

◯忘れ物班

画像認識班

・サイトに記載されたTensorflowで画像を検出して切り出すプログラムコードの実行および、理解に努めている。

・カスケード分類器の作成をしている。

Webアプリケーション班

・アプリケーション内で生徒データを一括入力できるようにcsvデータを取り込めるようにした。

本日の活動

・班ごとの進行状況の確認

・画像認識班はサイトに記載されたTensorflowで画像を検出して切り出すプログラムコードの実行および、理解できるようにお互いで話し合い、実行を行なった(途中段階)。

・Webアプリケーション班は連携のためのFlaskの学習を行なった。

次週までにやること

・画像認識班はカスケード分類器(スマートフォン)の完成および、画像切り抜き

・Webアプリケーション班はFlaskの学習

・忘れ物の管理をしている部署にアポイントメントを取り、システムのレビューを頂く。

◯案内班

・フレームワークのflaskを試してみて、エラー処理

来週までに行うこと

・他のチームに比べて進捗が遅いので進める。(webアプリを重点的に)

・位置情報を読み取るのはGPSを絡めて使うのもいいかも

[yoshida2020]

27定期報告会(2020/09/16)

9/9-9/15までの活動を報告。

◯食品管理班

・WindowsではなくMacでgoogle-images-downloadをやってみて画像の入手に成功した。今週はデータセットのための画像を集める。

・画像認識のデータセットの作成がわからない部分がありできなかった。

今週はデータセットのための画像を集める。

・Webアプリケーションのシステム面は大体完成させることができたので今週はデザイン面の作成を行う。

・画像認識では画像750枚集める必要がある。

◯忘れ物班

画像認識班

・google_images_downloadの利用に成功

・サイトにあるTensorflowのコードを組んでみる。

Webアプリケーション班

・アプリケーション完成(仮)

次回までに行うこと

・アプリケーションの名前を決める

・データセット・学習データの作成

・WebAPIの作成を試す

・スマートフォンの画像認識(試作品の作成を行う)

・画像認識のデータとの連携

◯案内班

画像認識班

・先週に引き続き、人工知能への理解を深めるために、ゼロから作るディープラーニングという本で勉強

webアプリ班

・制作ツールをruby→python,flaskに変更

・「Flaskで学ぶWebアプリケーションのしくみとつくり方」という教材で学習

次週までにwebの形を作る

[yoshida2020]

26定期報告会(2020/09/09)

9/2-9/8までの活動を報告。

◯食品管理班

・google-images-downloadを試してみたがエラーが出てできなかった。Macでやるとできるかもしれない。

教えてもらったサイトを使って、今週は画像認識を進めたい。

・google-images-downloadを試してバナナの画像を入手することに成功。

今週はgoogle-images-downloadを改良して、画像認識をやりたい。

・先週はアプリケーションの機能実装、リストの追加の機能実装を行った。

今週は管理者ページを作る予定。

◯忘れ物班

画像認識班

・忘れ物検知で検知するものの選択

(スマホ、タブレット、時計、筆記用具、財布)

・OpenCV以外の画像認識で使えるものがないかの検討、試作

・google_images_downloadの利用(失敗)

・Tensorflowの利用(google_images_downloadが利用できず、上手くいかなかった)

Webアプリケーション班

・セキュリティーなどの調整

・デザインの設計

次週までにやること

・データセットに必要なデータの入手

・画像認識の検討、試作の続き

・通知機能のテコ入れ

・デザインの続き

◯案内アプリ

・人工知能への理解を深めるために、ゼロから作るディープラーニングという本で勉強

・rubyの勉強

来週までにやること

本の理解度を深めることと、webアプリの作成に関する本の選定をし試す