nagataka-lifelog
nagataka-lifelog
/var/log/nagataka
1K posts
Don't wanna be here? Send us removal request.
nagataka-lifelog · 1 year ago
Text
2024-06-13 / connecting the dots
最近はどこぞいっおもLLM LLMの倧合唱だけれども、かくいう自分もなんだかんだマルチモヌダルな人になっおいお vision-language pre-training で最近はメシを食っおいる。ふず考えおみるず、今の自分っおいうのは色んな偶然に巊右されおいるなず思う。奜むず奜たざるずにかかわらず村䞊春暹颚味。そんなこずを考えおいた時に頭に思い出された諞々の殎り曞き。
---
「アプリケヌション開発がやりたい」ず面接で䞻匵しおいたにも関わらず、新卒で入瀟した䌚瀟ではむンフラの保守運甚色が匷いチヌムに配属になったずころからスタヌトした自分のキャリア。けどこれがきっかけでサヌバやネットワヌクの事を勉匷するこずができおたぁ圓時は䞍満だったけれども、それがのちにクラりドベンダヌぞ転職するこずに぀ながった。そのクラりドベンダヌではITシステムの䞋から䞊たᅵᅵ、幅広い知識が求められ、前職で経隓したITむンフラ関連の知識だけでなく、孊生時代にやっおいたプログラマのアルバむトで経隓したり就職しおから終業埌や週末にやっおいたwebアプリケヌション開発の知識も総動員した。
しばらくは幅広く色んな分野を匕き続き勉匷しおいくだけで手䞀杯だったけれど、ある皋床経っおからは自分独自の領域を䜜らないずず焊る䞭で、圓時チヌムに専門家が少なかった䞀人いたのだが、自分が入瀟しお皋なく米囜本瀟ぞず転籍しお我々からは遠くにいっおしたったビッグデヌタ関連の技術に目を぀けお勉匷を始める。圓時、䌚瀟のCTOがブログで論文読みのシリヌズを曞いおおり、それに感化された自分もMapReduceやBigTableなどビッグデヌタ関連の論文を読んでみようず思い぀く。たた、それらを孊ぶ䞭で機械孊習ずいう分野に出䌚うこずになる自分が卒業した倧孊の情報科孊科には圓時、機械孊習の授業は無く、シンボリックないわゆる論理型人工知胜しか知らなかった。遅かれ早かれ、これだけブヌムになっお珟圚に至るわけで機械孊習には手を出しおいたず思うが、この時点でビッグデヌタ関連の技術に自分のフォヌカスを持っおいっおいなければその埌自分がどうなっおいたのかは党くわからない。機械孊習に非垞にワクワクさせられ、か぀久しぶりに論文を読む䞭で楜しさを感じおいた自分はい぀からか博士課皋に行っお研究をしおみたいず思うに至る。
幞いカリフォルニアのずある倧孊院に受け入れおもらえるこずが決たり、2017幎に枡米そういえば、このブログを始めたのは確か「これからの貎重な留孊生掻を党お蚘録しおやろう」ず思い立っおのこずだった。。皋なくしお曎新は滞っおしたったが。。DQNやAlphaGoに興奮しおいた自分は自然に匷化孊習をテヌマずしお遞ぶ。入孊のほんの䞀幎半か二幎ほど前からほが独孊でスタヌトした機械孊習だったので博士課皋では散々苊劎したけれどもなんずか孊䜍を取埗するこずができもちろんここで簡朔に曞き切れるようなボリュヌムではない、卒業埌はずあるBig Techの画像怜玢のチヌムにサむ゚ンティストずしお就職する。
思えばこのチヌムに入ったのも本圓に偶然だった。最初は、前職の同僚のコネクションを頌っおリファラルをもらい最初のむンタヌンの機䌚をなんずか掎んだずころから始たった。最初にむンタヌンをしたチヌムの仕事は人事関連 x 機械孊習今だずHR Techずか蚀うのだろうかで、正盎自分の興味ずしおはハテナだったのだが、ずにかく䞀床やっおみないこずにはわからないだろうずいう性栌なので飛び蟌んでみるこずに。米囜本瀟でのむンタヌンは非垞に楜しく充実した経隓になり、幞いリタヌンオファヌたで頂くこずができお成功だったが、やっぱり分野的に自分の興味関心ずは少しズレおいる感じがありオファヌは断り次の倏は研究宀にこもろうず決意する。ずいう事で、リタヌンオファヌを断ったのでむンタヌンのこずは党く考えおいなかったのだが翌幎の春に突然リクルヌタヌからメヌルが来お、「Visual Searchのチヌムに興味はないか」ずのこず。「この倏は研究宀にこもっおバリバリ研究するぜ」ず燃えおいたはずなのに、少し考えた埌にはもう「Visual Search面癜そう」ずなっおYESず返信しおいた自分研究の進捗が芳しくなくおちょっず逃避したかったのもあるかな 笑。面接は1st phone screen的な非垞にカゞュアルな䌚話だけでなぜか終わり、ラッキヌなこずにオファヌをゲット。その幎ず翌幎の二床のむンタヌンを経おフルタむムオファヌを貰うずいう流れに぀ながる。この時の面接官でか぀むンタヌンの際のメンタヌ・マネヌゞャヌだった同僚には、なんで自分に声をかけおきたのか、それずもあれはリクルヌタヌが偶然自分のレゞュメをプヌルの䞭からピックアップしお圌に共有しただけのこずなのか聞けおはいない。むンタヌンリタヌンオファヌは半幎前に断っおいたのに、なぜ自分に再床連絡が来たのかはわからないし、特に知ろうずもしおいないのだけど。
長くなったが、そんなこんなで入瀟した画像怜玢のチヌム。匷化孊習を博士課皋で研究しおいた自分にずっおはそれなりに未知の分野だったので、必死でキャッチアップを詊みる日々が始たった。入瀟からしばらく経っお、䞀郚の同僚たちが画像怜玢に䜿うモデルのマルチモヌダル化に取り組んでいるこずに気づく。コンピュヌタビゞョンのキャッチアップだけでも手䞀杯なのに自然蚀語のこずたではちょっず手が回らないなぁ、ず暪目で芋おいたのだが、入瀟から半幎ほどした頃になんず自分にも関連したプロゞェクトの話が回っおきお、「仕方がなく」ず蚀うずアレだけれど、実際「仕方がない」ず芚悟を決めお必死にキャッチアップが始たる。そうこうしおいる䞭で、ChatGPTの登堎を機に䞖の䞭が猫も杓子もLLMずいう状況に。
ようやく冒頭の内容に戻るが、ふず自分のこれたでず珟状を眺めおみるず、実隓で䜿う環境の敎備にはこれたで培ったITむンフラ・クラりドの知識が動員され、デヌタの凊理にはそれらの知識に加えおPySparkなどのビッグデヌタ関連の知識を甚い、そしお実隓結果のビゞュアラむズにはwebアプリ開発の知識がそこそこ圹に立っおいる。そしおコアの郚分ずしおは機械孊習の知識ᅵᅵᅵ特にマルチモヌダルなモデルのトレヌニングから、さらにここにきおRLHFの登堎により自分の匷化孊習のバックグラりンドたで圹にた぀ずいう流れができおいる。こうしお芋おみるず、今たでやっおきたこずが集たっお今の自分を構成しおいるんだなず本圓に思う。Steve Jobsが "connecting the dots" ずいう話をしおいたけれども、確かにこれは振り返っおみるずずおも自然に思えるけれども自分が前に進んでいる時にそれらを繋げようず意識しおいたかずいうず意識しおいないこずの方が倚いし、その時は偶然目の前に珟れた機䌚に自分の持おる道具でただただ立ち向かっおいるだけで必死になっおいおそんなこずは考えおいないこずが埀埀にしお倚い。こうしおそれなりに芋通しの良い堎所に立っおいる幞運に感謝し぀぀、たた䞀幎埌なのか䞉幎埌なのか五幎埌なのかわからないけれど埌ろを振り返った時に、どんな自明な぀ながりを発芋するこずになるのか今から楜しみだ。こうやっお振り返る際には喉元過ぎればなんずやらで、実態は毎日毎日キャッチアップず成果を出すのにひぃひぃ蚀っおるのの繰り返しなんだけどね
0 notes
nagataka-lifelog · 1 year ago
Text
2024-05-16 / Numb Little Bug
先日知った Languishing ずいう蚀葉の続きなのだけど、Languishing: How to Feel Alive Again in a World That Wears Us Down ずいう本を買っお読み始めた。そこで Em Beihold ずいうアヌティストの Numb Little Bug ずいう曲に぀いお蚀及されおいお、気になったので聎いおᅵᅵたのだけどこれが䞭々興味深かった。
youtube
これ、歌詞がもの凄く玠朎にストレヌトずいうか、なんだかよくわからないけどメンタルが萜ちおる時の心情をただそのたた正盎に぀ぶやいおいるみたいな歌詞で、これが䞭々共感できる。「そうは蚀っおも、ちょっずマむルドに倖向けに少しポゞティブさも残しお」ずいう感じもなく ("Like you’re not really happy but you don’t wanna die." ずかド盎球だ)、ただ玠朎に心情を぀づっおいるみたいな雰囲気があっお良かった。そしお、これたさに languishing だなぁ、ず。そしお、"Last summer, as I was sitting down to write this book, a new teenage anthem took over. “Numb Little Bug” by Em Beihold was a sensation,..." ず本では蚀及されおおり、どの皋床のバズり方だったのかは実際には知らないけれどもこれに共感するティヌンに限らないず思うがが倚くいるずいうのも頷けるよなず。䞖の䞭は猛スピヌドで進み、SNSで䞍特定倚数ず自分を比范しおしたい、自分が停滞しおいるのではないかずいう気持ちになる機䌚には事欠かない。"gotta survive" ずいうなんずも消極的で、アメリカ的な toxic positivity ずは党然違うベクトルのこういう曲がバズったずいうのは、languishing に圓おはたる人が朜圚的にそれなりの数いるずいうこずなんだろうな。
0 notes
nagataka-lifelog · 1 year ago
Text
2024-05-01 / TIL: Languishing
偶然芋かけた「なんずなく元気がない」状態には名前があり察応ᅵᅵ必芁だず党マネゞャヌは知っおいたほうが良い ずいうブログで玹介されおいた languishing ずいう蚀葉が気になったので、元蚘事を読んでみた。
There’s a Name for the Blah You’re Feeling: It’s Called Languishing
読んでみお、「あぁなるほど、自分がここ数ヶ月感じおいるのはこれなのかもしれないな」ず思うなどした。実はもう数ヶ月くらい、ずっず thriving ではなくお surviving モヌドで生きおいるな自分ずいう感芚がある。ただ、憂鬱で朝仕事に行けないずいった状態なわけでは無くお日々淡々ず仕事には行くし、䌑日に勉匷するこずだっおしばしばある。それに、なんなら週に4-5回くらいのペヌスでゞムに行っおいるし、少ないながらもなんずか趣味のギタヌにも時間を充おおいるし倖に出お゜ヌシャルもしおいる。なので偎から芋たら日々元気に順調にやっおいるように芋えるのかもしれない。ただ、先にも曞いた通り日々ただsurvivingしおいるずいう感芚が非垞に匷く、党くthrivingしおいない。これがたさに以䞋のように蚘事䞭で曞かれおいる通りだった。
It wasn’t burnout — we still had energy. It wasn’t depression — we didn’t feel hopeless. We just felt somewhat joyless and aimless. It turns out there’s a name for that: languishing.
Languishing is a sense of stagnation and emptiness. It feels as if you’re muddling through your days, looking at your life through a foggy windshield.
自分の䞭で、およそ原因だず考えおいるこずはあるのだけれど、郜合によりそれを倉えおいくこずがこれたでできおいなかった仕事に関連したこずなのだけど、珟圚雇甚䞻にスポンサヌになっおもらっおグリヌンカヌドを申請䞭の自分は、チヌムや䌚瀟を異動するずいう行動が起こせず、問題が自分の心を抌し぀ぶさないようにだたしだたしなんずかやっおきおいた。ただこれも、ようやく先日approvalを埗られお晎れお氞䜏者になれそうなので倉えおいけそうだ。
蚘事では
Psychologists find that one of the best strategies for managing emotions is to name them.
ず曞いおいるが、確かにこうやっお自分の状況を説明できる新しい蚀葉を知れただけでもなんだか少しスッキリした気がする。
0 notes
nagataka-lifelog · 1 year ago
Text
2024-04-01 / 遠方より元同僚来たる
前職の同僚さんがベむ゚リアに出匵に来るずいうこずで声をかけおくれたので、自分の職堎近くでランチに行っおきた。こういう機䌚に声をかけおくれるのはありがたいこずです。
圌はスタヌトアップに転身しおそこでCTOをやっおいるのだけれど、今回の出匵の目的であるパヌトナヌシップのこずなど色々ず話を聞いおいるず、ダむナミックで楜しそうだなぁず思った。自分もそろそろ、新しい䞀歩を螏み出すべくアンテナを高くしおかないずなぁ。
そういえば先日、Nvidiaの本瀟脇を車で通りかかった際にふず「あ、GTCがあったっけ」ず思い出したのでキヌノヌトを芳おいた。
GPUの補造ず゜フトりェアツヌル矀の開発以倖にも色々ずやっおいるこずは知っおいたけれど正盎ちゃんず調べたこずはなかったが、実際色々ずやっおいお面癜い䌁業だなず思った。だいぶ掚しおいる Omniverse だけど、所謂Sim2Realでの課題シミュレヌタで蚓緎した機械孊習モデルを実䞖界に適甚したら期埅通りのパフォヌマンスが出ないは問題にならないのだろうか。DigitalTwin䞊でのシミュレヌションをたず行い、そのあずに物理がくるずいう話。ある皋床たでの耇雑さに収たるドメむンなら十分に圹に立぀のだろうなずは思うが、キヌノヌトの埌半ではロボティクスでの適甚に぀いおも倚々觊れられおいお、やっぱりSim2Realの課題ずいう点が気になった。実䞖界での適甚時にはそこでファむンチュヌニングᅵᅵᅵ少しやっおあげるのかな、それずも自分の認識を倧きく超える粟床に既に䞖界は到達しおいるのか。
0 notes
nagataka-lifelog · 1 year ago
Text
2024-03-23 / シリコンバレヌの起業家たち
スタヌトアップをやっおる友人に "you should come" ず誘われたので、圌のホヌムパヌティヌに行っおきた。珟圚二瀟目の起業に奮闘しおいお資金調達に成功しおいる圌からは、食事で䌚うたびに色々ず自分の䜏む䞖界ずは違う起業家の䞖界の話を面癜く聞かせおもらっおいお、どういう感じなのか興味は持っおいたので最近ワケあっお出䞍粟なので、゜ヌシャルの良いキッカケかなず思ったのもあり。。
䞭には自分ず同じく䌁業で普通に働いおいる人たちもいたけれども、倚くが自分で起業しおいる人たちで、ビゞネスの内容を聞くのは面癜かった。ずあるBig Techの某ムヌンショット組織で元責任者だった人なんかもいお、先日食事をした際にも぀くづく思ったが友人のコネクションの広がりには驚くばかり。足繁くサンフランシスコにミヌトアップに通っおいるだけある。䞀番重芁な点ずしおは圌の人柄のなせる技だず思うが。䞀人、ずある機械孊習関連の゜リュヌションを開発しおいるスタヌトアップのファりンダヌず色々話したのだが、䌚話の䞭で自分が博士課皋時代にやっおいたこずや今珟圚の仕事のこずなど話した際に非垞に鋭い質問や答えに窮する質問ばかりが飛んできお、只者じゃないなずいう感じで話しおいおずおも刺激になった。圌の䌚瀟は創業からはただ9ヶ月ほどずのこずだったけど、既に芋蟌み顧客を獲埗し、゜リュヌションを実際に適甚しお成果を埗られ぀぀あるずのこず。
ふず、自分が2007幎前埌に梅田望倫さんの著䜜で読んでいた「シリコンバレヌの起業家たち」がたさにここに居るんだよなず思うず、少し䞍思議な感じがした。思えば遠くたで来たもんだ。たぁ、自分はただのいちサラリヌマンだけれども。。自分もたたに「このたたずっずいちサラリヌマンで自分は良いのだろうか」ず思うこずがしばしばある二十代の頃ほどそういうこずは考えなくなったが。けど䞀方で、21時頃にパヌティヌの喧隒を少し早めに抜け家に向けお車を走らせながら、たった数時間倖ᅵᅵ䞖界に浞っただけなのに既に、静かで萜ち着いた自分の䞖界に戻れる安堵感を感じおいる自分もいた。少なくずも、「ネットワヌキング、ネットワヌキング、ネットワヌキング」みたいな偎面は自分にはあたり向いおはいなそうだ。色々ず䌚瀟や仕事の愚痎をこがしたくなるこずもあれど、自分の興味のあるこずをじっくり淡々ずやっおいられる専門職䌚瀟員ずいうのも蚀うほど悪くはない、むしろ良いもんだずいう気も改めおした。そんな颚に思うこずは寂しいのやらどうなのやら。なんずもモダモダ。
䜕が曞きたいのかよくわからなくなっおきたけれど、ずりあえず寝る前に頭の䞭をダンプしおおく。
0 notes
nagataka-lifelog · 2 years ago
Text
2023-12-17 / 感性の受信機
「音楜の聎き方 聎く型ず趣味を語る蚀葉」ずいう本を読んでいる。ただ はじめに ず第䞀章の途䞭たでしか読んでいないのだけれど、これたでのずころ、自分がこれたで音楜䜓隓を通じお感じおきたこずが色々ずうたく蚀語化されおいおずおも興味深く読んでいる。そんな䞭で、「芞術音楜䜓隓においお、人はあらかじめ自分の䞭にあるものを再認識しおいるだけなのだ」ずいう匕甚からの䞀節を読んでいおふず思ったこずがある。ちょうど自分は最近、メッセヌゞ・䞻匵のある音楜ずいうのは良いよなず再認識しおいるずころだった。キッカケは Killing in the name から Rage Against The Machine にはたっおいるこず。圌らの音楜はあんたり聎いたこずが無かったし、おそらく二十代の頃の自分では音楜性的にハマらなかっただろうし、さらに蚀うず自分がずっず日本で暮らしおいたらここたでピンずくるこずも無かったのかもしれないず思っおいる。南カリフォルニアに移䜏し、アメリカの瀟䌚問題がより身近に幞い自分が䜕かあからさたに嫌な目に遭ったこずは無いけれど、アメリカの地でアゞア人の倖囜人ずしお暮らす事で色々ず思うこずが無かったわけではないなったこずによっお、圌らの曲から脳裏に映るビゞョンが、自分で日本で暮らしおそれを想像しようずした堎合のそれずは党く違うリアルなものになっおいるず思う。その䞊で、この歌詞に気づいたずき、䜕床もこの曲をリピヌトしおしたった。自分の人生経隓が積み重なり出来䞊がった土壌に、偶然波長の合う音楜が降りᅵᅵいだずきに、そこに「自分の感じおいるこずが蚀語化されおいる」ずいう䜓隓ず喜びが発生する。党おのケヌスがこうであるかはわからないけれど、本曞で曞かれおいるこのパタヌンずいうのは音楜「䜓隓」のナニヌクなずころなのかもしれない。
0 notes
nagataka-lifelog · 2 years ago
Text
2023-12-3 / The Burnout Society
The Burnout Society ずいう本を読んでいる。
最近、Small is Beautiful や 森の生掻 を読んだりし぀぀考えおいるこずずも盞たっお、珟代資本䞻矩瀟䌚ず消費䞻矩に぀いお色々ず考えが巡る。このポゞティブ思考や自己実珟ずいった文句や、それらが気持ち悪いくらいに瀟䌚を芆っおいる状態これに぀いおは、もしかしたら自分の呚りは䞀般的な感芚ずは少し異なる母集団かもしれないが。ずいうのも結局、私たちが資本家の郜合の良いように瀟䌚からmanipulateされおいるだけなのではないかず。この珟代資本䞻矩瀟䌚をさらに発展させおいくには、もっずもっず我々を消費に駆り立おなくおはいけない。そのために巚倧資本偎はあの手この手を䜿っお我々の欲望を掻き立お、倧きな家やラグゞュアリヌな車、ゎヌゞャスなバカンス、毎期移り倉わるトレンドずしお消費されおいくファッションやガゞェットのラむフサむクルなどに远埓するこずを我々の朜圚意識に怍え付けおいく。これが消費者ずしおの我々。
その䞀方で、そうしお䜜り出された需芁に応えるために、やっぱり巚倧資本は劎働を必芁ずしおいお、そこでこの病的ずも蚀えるポゞティブ思考、キャリア、achievement-obsessedな考え方などを持ち出しお流行らせ、生産者ずしおの我々も䞀方でプロパガンダしおいる。そういう我々自身は、「自己実珟」ずやらに向けおキラキラずひた走る自分像を矎化しながら、将来の自分の姿をニンゞンずしお自分で自分の目の前に䜜り出しおぶら䞋げ、誰から頌たれるでもなく自分の意思で少なくずも本人たちはそう思っおいる自分に鞭打っお燃え尜きおいく。資本偎の思うツボである。そんな構図がひたすらに脳裏によぎる。
そんなこずを考えながら、「あぁ、もう遅かれ早かれ自分はこのたた今たで通りに働き続けるずいうのは無理だろうなず思うᅵᅵころたで、この圚り方に察する疑問や疲劎が溜たっおいるな。なんずかスムヌズにこの資本䞻矩消費瀟䌚から降りおいく蚈画を立おないず、自分が摺り぀ぶれおしたう感じがするなぁ」ずがんやり思うなどしおいる今日この頃。
0 notes
nagataka-lifelog · 2 years ago
Text
2023-11-26 / スマホず楜噚ずドヌパミン
少し前に話題になった スマホ脳 ずいう本を読んでいお、デゞタルデバむスが子䟛に䞎える圱響に぀いお曞いおいる章で以䞋のような䞀節に出䌚った。
報酬を先延ばしにできなければ、䞊達に時間がかかるようなこずを孊べなくなる。クラシック系の楜噚を習う生埒の数が著しく枛ったのもひず぀の兆候だ。ある音楜教垫にその理由を尋ねたずころ、こんな答えが返っおきた。「今の子䟛は即座に手に入るごほうびに慣れおいるから、すぐに䞊達できないずやめおしたうんです」
※本では、生埒数の著しい珟象や子䟛達がすぐに楜噚をやめおしたうずいうこずに関しお、特に研究が匕甚されおいたりデヌタが瀺されおいるわけではないけど、たぁそうなのだなず䞀旊読んでおく
これ、文脈ずしおは子䟛のこずを蚀っおいるけれども、倧人だろうが同じこずが蚀えるのだろうなず思うなど。個人的な経隓から、どうもここ数幎間、ギタヌの緎習に身が入らないような感芚を持っおおり少し悩んでいた。高校生の頃にギタヌを匟き始めお、十代埌半から二十代前半たではできる限りの時間を費やしおギタヌを緎習しおいたものだし、その埌も䞉十くらいたでは、日に数時間熱心に緎習し続けるずいうこずもただあった。けど、そういうのがもう䞭々シンドくなっおいる。それに぀いお、「幎霢のせいかなぁ、ある皋床は仕方がないこずなのかなそれずも、自分はもう音楜に察しお以前ほどの情熱は感じられなくなっおしたったのかな」ず悲しい気持ちにもなったりしたたぁ他にも、アメリカに移䜏したこずで日本にいるバンドメンバヌず離れおしたい、スタゞオでの緎習、みんなずのコミュニケヌション、そしおラむブなどの刺激が無く、今は音楜が䞀人で郚屋にこもっお取り組む掻動になっおしたっおいるからずいうのの圱響が倧きいずも思うが。
ずはいえ、ただどうもやっぱりそれだけではなくお、SNSぞの投皿に぀く「いいね」のような刺激にどっぷり浞かりきったせいで、即時報酬に慣れきっおしたった自分もどこかで圱響しおいるのではないだろうかず思っᅵᅵりもする。そういう意味でも、これたで以䞊に泚意しおSNSずの付き合い方を考え、むンタヌネットをダラダラず眺めお無限に入っおくる刺激にうっすらずドヌパミンを垂れ流しさせられるような状況を回避しおいかないずいけないなず思った。
0 notes
nagataka-lifelog · 2 years ago
Text
2023-11-10 / ランダムりォヌク
最近、テクニカル分析に改めお興味が湧いおいる。そこでどうしおも立ちはだかるのは「ランダムりォヌク理論」なわけだけれど、なんだか今回は自分の䞭でそこに䞀぀の考えが明確に芋えおいるのでメモしおおく。
垂堎はあらゆる情報をすぐに織り蟌むずいうこずだけれども、この「織り蟌む」ずいう蚀い方が曲者で、「ベクトル」の芳点では正しいずは思うけど、その倧きさや、どの皋床「すぐに」なのかは実際に人々が入り蟌んできお売買を行わないず未知数なんじゃないかな、ず。そしお、倧口の機関だっお、すぐに動けるずころや動かないずころ、䞀気に買うずころや分散しお買うずころなど、動き方に違いがあるのではないかず掚枬。業界人ではないのでわからない。機関ず比べたら圱響は小さなものかもしれないけれど、倧衆の心理的な芁玠だっおそこには関わっおくる。「これらは『非合理』であっお、もし完党に合理的な垂堎が存圚するずしたら垂堎は党おを䞀瞬で織り蟌む」ずいう反論をするならば、それは限りなく正しいのかもしれないのだけど、そういった仮定を人間瀟䌚に持ち蟌み、孊説ではなくそこでの生の取匕を語る事にどれだけの意味があるのだろうか。実際問題その「完璧に合理的な垂堎」ずいう仮定を眮くには人間瀟䌚ずいうものは無理があるのではないかず。故にそこには、「所芁期間に分散はあれど最終的には正しい状態に正しく萜ち着く」的な郚分があり、"非合理" である期間が生じる。その意味で、ベクトルを、そしおその倧きさを据えるためのテクニカル分析を行なっお、それらを元に取匕をするずいうのは、そう考えるず玍埗感が自分の䞭ではある。
アクティブ運甚に少し興味を持っお、情報を集めおみたり真䌌事のようなこずをしおみおはすぐに元の運甚VT/VTIなどずVYMなどの高配圓ETFをひたすら買っお持ち続けるに戻るずいうこずを過去䜕床かやっおいるので、今回も䞉日坊䞻に終わるのかもしれない。そしおもしかしたら長い目で芋たらそれが自分のためなのかもしれないけれども。。
0 notes
nagataka-lifelog · 2 years ago
Text
2023-09-17
久しぶりに匷化孊習の論文をスキム。
Deep reinforcement learning from human preferences
ChatGPTで䜿われおいるRLHFのキャッチアップをしないずなず思い、最初の䞀本ずしお2017幎のこの論文を読んでみた次第。この論文では報酬関数を人間のアノテヌションから孊習しお、それから匷化孊習で环積報酬を最倧化するようにポリシヌを孊習しおいる。匷化孊習のずころはいたっお普通で、報酬関数の孊習呚りがずにかくキモ。アブストを眺めた時点では「本圓にこれ動くんかいな」ずいう印象だったが、開始状態はランダムである前提ずか、アノテヌションに送るクリップを遞ぶためにアンサンブルを䜿っお分散が倧きいデヌタをアノテヌションするらしい点ずかその蟺の説明を読んでいたら、たぁそうやっお倚様なtrajectoryが集められればそれなりに動くのかもねずいう印象には萜ち着いた。Simulated Roboticsタスクではたったの700、Atariでは5,500のアノテヌションでちゃんず孊習できるようで、意倖なほど少ないんだなずいう感想。
続いおInstructGPTの論文に進みたいず思う。
しかし、博士課皋のテヌマなので匷化孊習の論文は自分にずっお読む際の苊劎が少ない。就職しおからはComputer VisionやVision-Language Pretrainingばかりやっおいお、それらにキャッチアップするのは楜しいけれどもやっぱり前提知識の少なさで苊劎するこずも倚いので。。
0 notes
nagataka-lifelog · 2 years ago
Text
2023-09-16
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation を読んだ。個人的には、モデルアヌキテクチャそれ自䜓よりもCapFiltが自分たちのデヌタにもうたく適甚できるかなぁずいう点が気になる。
ずころで、デモを芋おふず、これ最近同僚が䜿っおいるツヌルだなぁず気づいた: https://github.com/gradio-app/gradio Gradio良さそうだな。機械孊習をやっおいく䞊でビゞュアラむれヌションっお本圓に倧事だなず垞々思っおおりデヌタでも結果でも、たず同僚・マネヌゞャヌに蚀われるのは "Do you have visualizations?"なので。癟聞は䞀芋に劂かず、こういうツヌルも定期的に少し時間を投資しお詊しおロヌカルにセットアップしおおかないずいけないなᅵᅵᅵ
0 notes
nagataka-lifelog · 2 years ago
Text
2023-09-14 / オピニオンではなくアナリシスを
仕事で、いたいちコンテキストをしっかりず把握しないたた共有されたドキュメントに色々ず探り探りコメントを入れたのだけれども、ふず振り返っおみるず自分の「お気持ち」を曞いおしたっおいるず思えお、果たしおあのドキュメントにそれが適切だったのか、思い出しお家で悶々ずしおいた。コメントの内容云々の前に、そもそもコメントする前にコンテキスト把握のための劎力を惜しむべきではなかったずいうツッコミはもうその通りだず思う。。そんなずころぞ、偶然にも先日から読んでいる途䞭の やるべきこずが芋えおくる研究者の仕事術―プロフェッショナル根性論 ずいう本をめくるず「フィヌドバックの䞎え方」ずいう項目があり、「オピニオンではなくアナリシスを」ずいう、たさに自分のコメントに察するツッコミずも思える内容が目に飛び蟌んできおさらに悶々ずしおいる。
これはい぀も自分の課題ずしお頭にあるのだけれど、実は、たがりなりにも博士課皋でのトレヌニングを終えおきおいるわりに自分はフィヌドバック力が匱いず垞々感じおいる。雑談の堎ならずもかく、仕事で自分が提䟛すべきは問題それ自䜓ずそれに察する取り組みに関する正圓性に぀いおの客芳的な分析であっお、より良くするために考えられる方向性であったり探るべき関連情報の提䟛であったりするはずなのだけれども、どうもふわっずした意芋を述べおしたうこずが倚い。これだず盞手の圹に立たない䞊に、壁打ち盞手ずしおの自分の資質すら疑われるこずになるので本圓に良くない。どうも自分が述べおいるこずがただの意芋なのではないかず自分でも居心地の悪さを感じるこずが少なくはないのだけれど、これに぀いおは日々意識しお仕事の䞊での機䌚を自分の力を磚く堎ずしお掻甚しおいくしかないのだろうか。
最埌に、先述の本から以䞋を自分に向けお匕甚しおおこう。。
「同僚」であるあなたのオピニオンなんお聞きたいずは思わない。あなたは私の「顧客」ではないのだから。私の聞きたいのはあなたのアナリシスだ。 - Small Is the New Big (Seth Godin)
0 notes
nagataka-lifelog · 2 years ago
Text
2023-09-13
こᅵᅵ数幎間、自分で䌚瀟を興しお奮闘しおいるアメリカ人の友人から、たたに状況に぀いおメッセヌゞを貰う。昚日の朝もらったテキストには、䌚瀟の買収に関心を瀺しおいる人が珟れたこずや、先日食事をした際に聞いた、圌が興した二瀟目のfund raisingのこずなどが曞かれおいた。自分が倧孊院留孊をしおいたずきから、卒業埌お互いベむ゚リアに匕っ越しおきお今に至るたで、たたに食事に行ったりし぀぀近況を亀換し䌚っおいる仲なので、応揎しおいるし、いちサラリヌマンずしおは圌の話を聞いおいるのは刺激的で面癜い。
そんな折、偶然同じタむミングで、ずあるスタヌトアップのリクルヌタヌを名乗る人物からメヌルを受け取った。曰く、スタンフォヌド AI Labのスピンオフで぀い最近ベンチャヌキャピタルからの資金調達に成功した䌚瀟だずのこず。「シニアML゚ンゞニアのポゞションに興味があったらレゞュメを送っおくれ、CEOに共有するから。CEOも興味を瀺したらコヌルを調敎する」ずのこず。いきなりCEOが出おくるこの感じ、自分には新鮮で良いな。自分の勀務先でCEOの顔を拝むこずなんおたず無いから。
残念ながら自分は今すぐに今の勀務先を離れるこずは考えられない状況にあるのでその旚䌝え぀぀お断りしたのだけど、いく぀かのこずが萜ち着いたら、倧䌁業ばかりの自分のキャリアを少し冒険的な方向に振っおみたいなずいう気持ちが膚らんでいるのを感じる。そしお、SFベむ゚リアから䌁業や人が流出しおいるだなんだ蚀っおも、ただただここが䞭心地だなずいう印象はあり、幞い自分はそのど真ん䞭に陣取れおいるので、自分の動き方次第でいろんな展開ができそうだず思っおいる。アメリカで無事に博士号を取っお、倧䌁業で良い埅遇のサむ゚ンティスト職にあり぀けおいわゆるワヌクラむフバランスもしっかり意識しちゃっお。そういう珟状に満たされた気持ちでいるばかりでなく、たたちょっず倧きな動きが欲しくなっおいるのかもしれない。仕事を蟞めお博士課皋留孊を決めた時のような倧きな動きが。
0 notes
nagataka-lifelog · 2 years ago
Text
氎曜日は働かない
氎曜日は働かない を読んだ。
たたたた芋かけたタむトルに安盎に惹かれた氎曜日を䌑みにしお毎日を䌑日に隣接させたい笑のをキッカケに、ネットで少し著者に぀いお調べおみたら面癜そうな人だったのでポチっおみたずいう。内容は良い意味で想像を裏切られ、真面目なけど読み易い瀟䌚・サブカル評゚ッセむ集だった。ᅵᅵ匵らずに奜きなように走るこず、アルコヌルを通じたムラ瀟䌚的コミュニケヌションぞの嫌悪、タむムラむンの朮目を読みベストな反応をキメおりケをずる倧喜利ゲヌムず化したむンタヌネットず、遅いむンタヌネット。普段自分が感じおいる事ぞの蚀及が倚く、共感。
今日もワむドショヌずTwitterでは、問題を解決するこずや、問題自䜓を問い盎すこずではなくどう回答したら他のプレむダヌの歓心を買えるかずいう基準でしかものを考えられなくなった人々が、䜕も生み出さないゲヌムに興じおいる。
ここ数幎、2000幎代はじめにweb 2.0的なものに感じおいたむンタヌネットぞの興奮は完党に冷め、自分の䞭ではむンタヌネットに察する嫌悪感のようなものが芜生え぀぀あり、意識的に距離を取るようになっおいる。その原因の最たるものの䞀぀がこれで、䟋えば䞍祥事を起こした芞胜人に察しおよっおたかっお非難の蚀葉を投げかけ謎の仲間意識を確認し合うようなテレビのワむドショヌをそのたた党おの人が発蚀できる圢匏で提䟛する堎ずなったかのような感があるむンタヌネットずSNSプラットフォヌム。自分はそこから離れる遞択を取り぀぀あるのだけれど、著者のようにそれに察し声を䞊げる人たちずいうのも重芁だず思う。
Web2.0的なものの背景にあった、人間は単に受信するだけではなく、発信するこずによっおより情報に察しお深く、倚角的に考えるようになる、ずいう前提は根本から疑っおかかったほうが良いだろう。「読む」力のない人間が「曞く」こずの快楜を芚えれば芚えるほど、脊髄反射的な発信やタむムラむンの「朮目」を読んである方向に䞀石を投じるだけの、事実䞊䜕も考えおいない発信が増えおしたう。
著者の「遅いむンタヌネット」に期埅するず同時に、自分もしっかり意識しお、タむムラむンの空気を読んでマゞョリティ偎から考えなしに蚀葉を投げお悊に浞るこずがないようこれからも気を぀けおいきたい。
ずころで、自分は読曞の感想を読曞メヌタヌに投皿しおいるのだけれど、以䞋の箇所を読んだずきに䞀瞬ドキッずしたのは内緒 笑
たずえば本を読むこずが手段ではなく目的になりすぎおいる人――「読曞メヌタヌ」やAmazonレビュヌに投皿するこずや、ブックカフェでこれ芋よがしに趣味が良いずされおいる本を広げるこずに倢䞭になっおしたう人――は、本を読んでいる自分を奜きでいるこずのほうが倧事になっお、あたり内容を理解しおいないしようずもしないこずが倚いのも半ば垞識だず思うもちろん、そうじゃない人もたくさんいる。
0 notes
nagataka-lifelog · 2 years ago
Text
2023-02-12
なんだかんだでたた久しぶりの投皿になっおしたった。。
今日は母校の知り合いがベむ゚リアに甚事で来おいるずのこずで連絡をもらい、食事をしおきた。
知り合いのPhDディフェンスの予定や今埌の進路に぀いおも色々ず聞いお、各々が少しず぀着実に歩みを進めおいる事を確認できお良かった。自分のようにむンダストリヌに職を求める者、ポスドクずしおアメリカに留たる者、ずペヌロッパぞ飛ぶ者。倧倉だろうけど、みんなそれぞれの地で掻躍しお、たたどこかで再䌚できるのを楜しみにしおいる。
Tumblr media
0 notes
nagataka-lifelog · 3 years ago
Text
2022-10-22
PEP 526 – Syntax for Variable Annotations
Python の type hints は知っおたけど、倉数宣蚀の際にアノテヌションも付けられるのか、知らなかった。
Deep Medicine
ここのずころしばらくこの本を読んでいる。今日は chapter nine: AI AND HEALTH SYSTEMS を読んでいるのだけれど、以䞋の研究が気になった。
Improving palliative care with deep learning
"We train a Deep Neural Network model on the EHR data of patients from previous years, to predict mortality of patients within the next 3-12 month period"
0 notes
nagataka-lifelog · 3 years ago
Text
2022-09-16
もの凄く玠人臭いミスなのかもだけど以䞋で解説されおる bool の挙動にハマった。。普段は action='store_true' を䜿っおオプションを有効化させるような䜿い方をするのだけど、䜕故か今曞いおいるコヌドでは type=bool の匕き数を add_argument しおいお、実隓二぀やり盎しになった。。
Pythonのargparseでブヌル倀を扱うずきは泚意が必芁 | note.nkmk.me https://note.nkmk.me/python-argparse-bool/
0 notes