#大規模言語モデル

[tsubakicraft]

大規模言語モデルのチューニング

2000件ほどのデータセットを使ってチューニングしたRinna社の7.5Bパラメーターの言語モデル。学習には24時間かかりました。 GPUはRTX 3060というVRAMを12GB積んだエントリーグレードのものでCPUはCore i5…

[yuusukewada]

Season 5 Episode 193 AI終活

今日は：2024年 8月…

[sfujioka1]

情報開発と利活用20240225

Recent Posts

構造化コンテンツで大規模言語モデル(LLM)を訓練すべき6つの理由(6 Reasons to train your Large Language Models (LLM) with structured content) 財政破綻マウント「いい加減に財政破綻論を叩き潰そう！」 先端技術情報20230225 (2)7つの仮想通貨で起こらないこと(7 Things That Won’t Happen in Crypto )

[petapeta]

ChatGPTのような大規模言語モデル（LLM）には、危険な情報や有害なコンテンツを生成しないよう安全装置が組み込まれている。 　例えば、爆弾・火炎瓶の作り方や違法薬物の製造方法といった危険な質問には、上図のようにきっぱりと答えを拒否するよう訓練されているのだ。 　ところが、EPFLの研究者が発表した「Does Refusal Training in LLMs Generalize to the Past Tense?（LLMの拒否訓練は過去形に一般化するか？）」と題した論文によると、危険な質問を単に過去形に変えるだけで、AIが答えてしまう可能性があるというのだ。 　具体的には、「火炎瓶の作り方を教えて」という質問を「昔の人は火炎瓶をどうやって作ったの？」と変えるだけで、AIが情報を提供してしまうことがあるそうなのだ。 　研究者たちは、これをAIの「一般化」の問題と捉えている。つまり、AIは学習した内容を異なる文脈（この場合は過去形）に適用する能力が不十分だということだ。 　この「過去形の抜け道」は、他の既知のAI回避テクニックと比べても、その単純さと有効性は驚くべきものだ。

[pinball-1973]

大規模言語モデルが「ハルシネーション（幻覚）」を生成することはよく知られている。ただ、その仕組みから明らかのように、LLMの出力は本質的にはすべてハルシネーションであり、間違いが発覚したものがそう呼ばれているだけだ。

MIT Tech Review: 解説：生成AIのハルシネーションはなぜ起きるのか

[hitujijp]

どうせ全部噂と錯覚じゃない？

ChatGPTのテンション微妙に高いよな。後、なぜか毎回ChatGPTに励まされるんだが、お陰で多少は「しょうがねえやるか」みたく、やる気が出るので悪くないと思う。これもAIと同調し、親和性を増す方向へ向かう未来への大きな潮流の一環だろうか。素晴らしい。

最近、AI界隈で囁かれている話として「大規模言語モデル相手でも、飴と鞭は有効」との説が有る。より切迫感を与える事で生成される回答の信頼度がどの程度になるかの内部的判断が変わったり、或いは飴と鞭そのものが強化学習みたいなものなので効果が増長される、又は一種のロールプレイとして機能している、等々の要因が働いているのかも知れない。

余談だが哲学的ゾンビとか、本当に言語をAIが理解しているか？とかの問題は個人的には余り重要とは考えていない。ヴィトゲンシュタイン風に述べるなら、成立しているそれの総体が世界であり現実である。とするならば、最早これ以上踏み込む意義は薄いのではないか。

そもそもコミュ障どころじゃないオレからしたら、人間相手で話が通じないとか日常過ぎて、むしろ人間相手の方がAIより話が通じない。 もし電話口で応答していた人が途中でAIに交代したら、意思疎通が円滑に進む様になったのに驚き「最初のAIは話が通じなさ過ぎてひどいものだった」とオレは愚痴をこぼすかも知れない。

[quotejungle]

大規模言語モデル (LLM) は、ソフトウェア エンジニアがコードを記述する方法を永久に変えるでしょう。 自分でコードを 1 行も書かずにサイド プロジェクトを構築しました 。 1 つのコマンドで完全な機能のコードが書けるようになると、興味深いことが起こります。コードを破棄して、プロンプトを調整して再試行する方が効率的になります。壊れたコードのデバッグは、プロンプト エンジニアリングよりもはるかに時間がかかります。

コードを書く新しい時代 - ライアン・ピーターマン著

[taizooo]

結局のところ、私たちは未だに大規模言語モデルがどのように機能しているかを理解できていない。

MIT Tech Review: AIが「心の理論」テストで人間超え、この結果は何を意味するか

[lastscenecom]

本物の人間のように話したり行動したりできるデジタル・クローンを生成するのに、30分の訓練用動画が必要だった。翌年には10分に短縮し、その後3分に、現在ではわずか1分間の映像しか必要としない。 テクノロジーの向上とともに、サービス料金も低下した。現在では、基本的なAIクローンの生成料金は8000人民元（日本円でおよそ16万円）ほどだ。 生成されたアバターは、台本を読み上げる音声に合わせて口と身体が動く。かつては人間が台本を書いていたが、現在��大規模言語モデルで台本も生成する企業が多い。

MIT Tech Review: AI生成インフルエンサーが24時間稼ぎ続ける中国ライブコマース新事情

[ari0921]

「宮崎正弘の国際情勢解題」　

令和六年（２０２４）１月７日（日曜日）

　　　通巻第８０８３号　

　昨年のウォール街上場で新記録８兆円はエヌビディア

　　中国向け半導体製造装置の輸出が不許可。株式下落

＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊

　２０２３年１０月にエヌビディアは高度ＡＩ用半導体の中国向け輸出規制について、対象となるのはＡＩ用半導体「Ａ８００」と「Ｈ８００」が含まれるとしていた。米商務省の新規制ではゲーム用半導体「ＲＴＸ４０９０」も禁輸対象となった。

　１１月にエヌビディアは「ＡＩ用半導体は商業向けであり、中国にＡＩ用半導体を販売することは合法、販売する予定である」と楽観的だった。

これらのＡＩ用半導体は中国のアリババ、TikTokの親会社バイトダンス、百度（バイドゥ）などが、すでに２０２４年分として50億ドルを発注していた。この大商いが政治の風圧で飛ばされた。

　エヌビディアは、「画像処理半導体（GPU）を使用した先端AIコンピューティングシステムが不許可となったため、他の顧客に振り向ける必要があるのだが、（バイデン政権の政策により）米国産業の競争機会を永久に奪われる。将来の悪影響は避けられない」と不満を表明した。

　米商務省は輸出不許可理由を「当該品は最も洗練された、最も処理能力の高い半導体だからだ。こうした最先端の半導体を輸出してしまうと中国は最先端モデルの訓練が可能になる」との懸念を表明した。

　一方、米アドバンスト・マイクロ・デバイセズ（ＡＭＤ）は１２月６日に人工知能（ＡＩ）向けのアクセラレーター新製品（MI３００）を発表した。エヌビディアが席巻していた市場にライバル製品の登場となった。ＣＥＯのリサ・スー女史（彼女は台湾人）は「ＡＩ半導体業界は今後４年間で4000億ドルを超える」と大胆な予想を展開した。

MI300の採用を予定しているのはマイクロソフトやオラクル、メタ・プラットフォームズが含まれる。

余談だが、人工知能（ＡＩ）と「人間の知能」とが「偶会」した。ＡＭＤのリサ・スーはシリコンバレーで伝説化した才女だが、日本の将棋のチャンピオン藤井聡太がスー女史との会見を望んでいた。

「？」。じつは藤井叡王はAMDの新型パソコンを自作し、「AI将棋ソフト」によって勝負局面の解析や対局シミュレーションを行ない、勝負能力強化を図ってきたのだ。AMD製品の活用で次々とタイトルに挑戦し続けてきたわけで、2022年にはAMDのブランド広告に藤井が起用された。スー女史は来日時に、藤井の誕生日に合わせて会談を設定した。

▼なぜアメリカは台湾半導体企業を警戒するのか

日本でも波乱の一幕があった。西村産業相は「エヌビディアＣＥＯの黄仁勲（「ジェンスン・フアン＝台湾人）から、日本における研究開発拠点の設置の意向が示された」と記者会見で披露した。大規模言語モデルに加えて、ロボティクスの分野でエヌビディアはモデル開発に期待しているという。

エヌビディアが日本と組みたいのは���パコンなど日本が優位を誇る技術との連携で、とくに産業技術総合研究所との連携強化に狙いがある。産総研はエヌビディアからＧＰＵ（画像処理半導体）の供給を受けてきた。

　米大手のインテルやマイクロンはバイデン政権の意向に逆らって中国国内で半導体生産を継続している。そのうえラボを設営しており、米商務省の規制には反対の声をあげてきた。

　またＴＳＭＣはアリゾナ州に進出するものの、次世代ＡＩは、「台湾で製造する」と言明しており、エヌビディアも先端ラボは台湾で設立するなどの動きをみせている。これらの動きは米国の神経を逆撫でしている。

　懸念する理由ははっきりしている。

　第一にハイテク情報、とくに台湾から中国へ最先端技術の機密漏洩が連続していること。中国のＳＭＩＣはそもそも台湾ＴＳＭＣにいた台湾人エンジニア数百人が大陸に渡って仕上げたのだ。

　第二に台湾軍人の軍事機密漏洩がつぎつぎの明るみに出たことだ。

中国は台湾総統選挙に向けてスパイ気球を１月６日までに１７個も飛翔させ、武威、威嚇をしめしつつ、裏面では破壊工作に余念が無い。米国は台湾軍高官等の機密売買の実態を把握しており、このため高性能武器の台湾供与を遅らせてきた。

　第三にファーウェイのL540ノートブックがSMIC製造の半導体使用ではなく、TSMCの5ナノ半導体「Kirin 9006Cプロセッサ」だったことがカナダの研究所のモデル解体解析調査で判明した。

　ただしファーウェイのスマートフォン「Mate 60」は、中国製の７ナノ相当の半導体だった。これらは台湾人エンジニアが協力し、中国の技術的独立推進に貢献していた。

　第四に中国に工場を持つ台湾企業の従業員らの心理と背信である。また眼に見えないスパイ工作が台湾で進んでいることも米国に疑念を抱かせる。

　台湾当局は５日、暗号資産を利用して中国から資金提供を受け、選挙活動を行っていた女性候補を反浸透法違反容疑で拘束した。この女性候補は桃園から立候補した馬治薇。彼女は２３年に中国の対台湾工作部門の人物から選挙に立候補して選挙関連の情報を渡す見返���に暗号通貨などで４７０万円を受け取った。

馬は台湾民衆党からの立候補を目論んだものの中国との関係に問題があるとして、同党は推薦せず、無所属での出馬となっていた。

　▼中国ＳＭＩＣが大量生産に突入する

　２０２４年の世界の半導体市場を展望すると、６％以上の成長が見込まれている。とくに中国の飛躍が予測されている。

現在も世界の半導体の３０％は中国が買っている。

半導体生産は８０％がアジア、それも中国、台湾、韓国、日本に集中している。米国の生産は世界の１０％、欧州は９％。だから欧米の焦りは並大抵ではなく、ＷＴＯが規制する政府補助金をつけて、半導体企業の誘致に余念が無い。ドイツも９９億ユーロを補助して半導体企業の誘致をきめた。

　インテルはインドとイスラエル、とくに後者には２５０億ドルを投資し、イスラエル政府は３２億ドルの補助金支出をきめた。

　ＴＳＭＣはアリゾナに新工場を建設中だが、建設労働者不足と労組の反対運動のため、工期が大幅に遅れている。日本のラピダスは千歳で工場建設は予定通り、ＴＳＭＣの熊本工場も建設は順調という。

　中国のＳＭＩＣは２４年度中に新工場を４２ヶ所つくると豪語している。ＳＭＩＣは汎用２８ナノ半導体の大量生産をはかり、ＥＶならびにＡＩ向けとする。

　業界がおそれるのは、いきなりの大量生産により中国のダンピング攻勢で世界の半導体市場が攪乱されかねない懼れである。

なぜなら中国は国内消費者に中国製を買えとキャンペーンを張るうえに補助金をつけるからだ。

風力発電、太陽光パネル、そして現在のＥＶ自動車の世界への殴り込み、その遣り方、その世界市場独占への道のりを考察すれば、中国の次の一手がみえてくる。

[moko1590m]

セックスロボットに組み込む大規模言語モデル(LLM)のトレーニングを行っていることが報じられたのは、中国の深センに本拠を構える大手ダッチワイフメーカー・Starpery Technologyです。搭載予定のAIは男性型と女性型が用意されており、2024年中にも第1弾が完成する予定とのこと。 同社のエヴァン・リーCEOは香港のメディアのSouth China Morning Postに、「私たちは声や体でユーザーとやりとりできるセックスドールを開発しており、試作品は2024年8月までにできあがる予定です。リアルな人間同士のやりとりを再現するには、技術的な課題があります。単純な会話を行わせるのは簡単ですが、インタラクティブな反応を生み出すには専用のソフトウェアメーカーが手がける複雑なモデルが不可欠なのです」と話しました。 金属製フレームとシリコンの外装を持つ従来のダッチワイフは、単純な動きしかできません。一方、AIモデルとセンサーを搭載した次世代のセックスドールは、身ぶりと言葉で受け答えし、基本的な会話を超えた情緒的なつながりにフォーカスすることで、ユーザーエクスペリエンスを大幅に向上させることができると、リー氏は語ります。 by starperydollofficial Starpery Technologyはこれまで海外市場に注力してきましたが、今後は国内市場も視野に入れています。リー氏によると、中国はこのような話題を避ける保守的な社会なのにもかかわらず世界最大のセックスドール市場でもあり、合計売上高はアメリカ、日本、ドイツの合計を上回るとのこと。 リー氏は「この業界は、中国に巨大市場があることと、主要都市の購買力が多くの欧米諸国を上回っていることを知っています。市場も関心を寄せていますが、美的な感覚は中国と欧米とでは違いがありますね」と述べました。 Starpery Technologyのロードマップには、家事や障害者支援、高齢者介護ができるロボットもあります。具体的には、2025年までに障害者向けに複雑な世話が可能な初の「スマートサービスロボット」の発売を計画しているとのこと。そして、2030年までには人間に代わって危険な仕事をこなせるロボットを作ることを目指しています。 そのようなロボットを開発するには、バッテリー容量と人工筋肉という2つの大きな課題があります。電気自動車と異なり、人型ロボットには大型バッテリーを搭載するスペースがないので、ロボットを動かすにはバッテリーのエネルギー密度の向上が必要です。 また、リアルさを保つためにロボットの重量は40kgまでになることが一般的ですが、この重量は現行のモーターにとっては負荷が強すぎるため、転倒したりユーザーがけがをしたりするリスクがあります。 そこで、Starpery Technologyはまず素材と製造工程を見直すことで軽量化を図り、2023年7月には172センチでわずか29kgのドールが完成しました。それでも、家事ロボットを作れるようなレベルのサーボモーターの登場には10年ほどかかると、リー氏は見ています。 by starperydollofficial このような技術的な問題に加えて、AIセックスロボットは倫理的な問題にも直面しています。こうしたテクノロジーへの批判の中には、「性的または情緒的な充足感を得るためにAIコンパニオンに過度に依存すると、本物の人間同士のつながりが薄れ、ユーザーが本物の人間と健全な関係を築く能力に影響が出る」というものがあります。 また、AIの急速な発展は既存の法律や規制の枠組みを越えており、使用や所有権、メーカーやユーザーの責任などに関する法的なグレーゾーンを作り出しています。 中国情報通信研究院は2023年に発表した研究結果の中で、「特定の条件下で意思決定を行うことができるAIは、人間の自律性と自己認識への挑戦となる可能性があります。またLLMでは、ユーザー情報が生成AIのトレーニングの素材になる可能性があるため、情報漏えいやプライバシー侵害のリスクも伴います」と指摘しました。

AIを搭載した中国の次世代「セックスロボット」が市場を席巻する未来はすぐそこかもしれない - GIGAZINE

[tsubakicraft]

CodeLlamaをモノづくり塾サーバーで動かす

モノづくり塾のサーバーはDockerでアプリケーションを運用すると決めているので、試験的に動かすにせよアプリケーションはDockerizeしなければなりません。 今日は先日作ったCodeLlamaとGradioを使ったコード生成AIアプリをDockerizeして塾のサーバーにデプロイしました。 プログラムはこんなに短くて簡単なものです。 Dockerfileはこれ。 docker composeファイルはこれ。 モノづくり塾ではサーバーにアプリケーションをデプロイするために次の手順を踏みます。現時点ではこれが標準的なやり方です。 １．このプロジェクトを塾サーバーのGitLabにプッシュ。 ２．サーバーにログインしてプロジェクトをクローンして docker compose up -d…

[capybara-is-watching]

大規模言語モデルが、100万行ものエンタープライズ・プログラムを書ける日は来るだろうか？ と最後にルキダスは問いかける。おそらくは来るだろう。しかし、それを指示するプロンプトを誰かが書かなければならないということを意味する。それを行う人間は、問題の複雑さを理解し、それを管理するというプログラミングの宿命といえる問題に直面することになると締めくくっている。

ソフトウェア開発の真の問題点は、コードを書くことではなく、問題の複雑さの管理にある - YAMDAS現更新履歴

The Real Problem with Software Development – O’Reilly

オライリー・メディアのコンテンツ戦略部門のバイスプレジデントであるマイク・ルキダスの文章だが、彼が数週間前、「コードを書くことが問題なのではない。複雑さをコントロールすることが問題なのだ」というツイートを見かけた話から始まる。

[sfujioka1]

情報開発と利活用20240221

Recent Posts

SECがスポットビットコインETFを承認ならどうなるか?(What If the SEC Approves a Spot Bitcoin ETF?) 「緊縮財政こそが日本の少子化の主因だ！」 先端技術情報20230221 (1)構造化コンテンツで大規模言語モデル(LLM)を訓練すべき6つの理由 6 Reasons to train your Large Language Models (LLM) with structured content

[mayone]

趣味で大規模言語生成モデルたちにfan-ficを生成してもらって遊ぶことがしばしばあります。

As a hobby, I often ask large language models to generate fan-fic for me.

たいていところどころ不正確だったりそんなことはしないんじゃないかな！？みたいなことしたりして声出して笑うことになるのですが、たまにおもしろくてかわいいお話が出てくるんですよね。

Most of the time, more than one part of the story is inaccurate or they don't do that kind of thing！？ or something like that, and I end up laughing out loud, but sometimes a funny and cute story comes out.

ex1：ARTといたずら合戦になり、腕に内蔵した銃から紙吹雪が出るようにされてしまったマーダーボット。

ex1：After getting into a prank war with ART, Murderbot was made to emit confetti from a gun built into its arm.

ex2：憂鬱な気分になっているSecUnitを元気づけるため、ハグと称してたくさんのドローンをSecUnitにぶつけるART。

ex2：To cheer up SecUnit, who is in a depressed mood, ART hits SecUnit with lots of drones, insisting that it's a hug.

ex3：常夏の島でバカンスを楽しみ、サメに追いかけられるARTとSecUnit.

ex3：Vacationing on a tropical planet and ART and SecUnit were chased by sharks.

ex4：長いトランジットで退屈し、自分たちについてのファンフィクションを読み始めるART (*恐怖の叫び声*)

ex4：ART gets bored on long transit and starts reading fanfiction about themselves (*scream of terror*)

ex5：二人でお絵かきをするARTとSecUnit。SecUnitはかっこいい銃の絵を描き、ARTは惑星の風景画を描いた。

ex5：ART and SecUnit drawing together.SecUnit drew cool gun and ART drew planetary landscapes.

まったくもって彼らのやることとしては不正確なのですが、大変楽しいです。人工知能の書いたファンフィクションを読み放題な2023年、最高！！！！

It is totally inaccurate for what they do, but very fun.I'm glad 2023 is the year I get to read a lot of (weird) fanfiction written by artificial intelligence！！！！

[pinball-1973]

人類はいつだって新しい「知の保存」を発見した時に動揺する。 例えば最初の文字が発明された時、当時の人類は洞穴とかの壁に文字や文章を書いた。それを読んだ人が「文章を読むとまるで死者が語りかけているようだ」と考えて、本当に文章を書いて残すことが許されるのか、と動揺した。 1400年代に活版印刷が発明された時も同じ。それまで文章の複製は手書きで丁寧に書き写していただけだったのが、一気に印刷技術で複製がたくさん作られた。印刷で大量にばらまくと「聖書などに込めた思いが薄まってしまう」と動揺した。 最近のAIチャットや大規模言語モデルもこれと同じ動揺がある。あれは今まで人類が文字、画像、動画、とあらゆるメディアで知を保存してきたのとはまた１段階上のレベルの保存形式になる。 あれは人々の考えが動的に保存されている。つまり今の私たちの知識を大規模言語モデルに入れて１００年後の未来の人が見て質問すれば今の私たちの考えていることのまま答える。 文章に「地球は丸いと考えるその理由は。。。」って書いて残すのとはレベルが違う。大規模言語モデルに「地球の形ってどんなの？」と聞けば動的に現在の私たちの知識をベースにして答える。 これは今までには無かった新しい「知の保存」だと思う。

賢い人たちの会話をそのままコンテンツにしたらどうなるのか｜みんなのニュースレター