2024年5月10日、「東京工業大や富士通などのチームは１０日、スーパーコンピューター「 富岳（ふがく） 」を使い、生成ＡＩ（人工知能）の基盤技術となる大規模言語モデル（ＬＬＭ）を開発したと発表した。日本語の理解力の高さが特長という。」という記事がリリースされました。
開発された大規模言語モデル「FugakuーLLM」が、10日から公開されています（モデルは「Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf」を使用）。
早速使ってみることに。でも、管理人には使いこなす知識がゼロなので、よそ様のサイトを参考にやってみました。
コマンドプロンプトとChromeの「Chat with Ollama」上で動きます。一応！
せっかくの国産生成ＡＩですが、お育ちがちょっと下品なようで
まず驚くのが、とてつもなく下品な生成AIだと言うことです。
管理人は、生成AI「FugakuーLLM」に「Fack you!」と言われてしまいました。これ以上、下品な言葉があるのでしょうか。
更に、「狂っている、狂っている、狂っている」を連呼する有様。何じゃこれ、というレベルです。
別におかしなことを聞いたわけではありません。いつも、生成AIの性能確認について使っている「きさらぎ駅」について聞いただけです。ChatGPT、Copilot、Claudeなどの生成AIにも同じ質問をしていますが、「Fack you!」という回答を生成するとは驚きの性能です。
間違っていると指摘すると、怒り出す生成AI。どうもお育ちがよろしくないようです。
AIの発表会では、「FugakuーLLMはAIのモデルが一から独自に構築されているため、透明性と安全性に優れていることや学習データのおよそ6割を日本語のコンテンツから学習したことで、日本語に強く、日本文化に根ざした対話が期待される」などと発表者からコメントがあったようですが、育て方に問題があったため、問題児に成長した、ということかも。
日本生まれなのに日本語がへたくそ
管理人は、Copilotをよく使っているのですが、かなり正確な日本語で回答を生成します。しかし、FugakuーLLMが生成する回答は、日本語がおかしい。文脈がむちゃくちゃで、文章の体をなしていません。ある事件について質問すると、時系列で答えるのですが、前と後ろでは内容がちぐはぐで、とても理解できない。はっきり言って支離滅裂です。
更に困るのが、突然、回答の途中から英語に変わること。更に、ロシア語に変わる場面もありました。
本当に困るのが、一通りの回答をし終えた後、何の脈絡もない文章を延々と生成すること。これにはうんざりです。高負荷となるためPCが悲鳴を上げてしまいます。
現時点では、ちょっと使い物にならないレベルと感じました。採点するのなら、ChatGPTが50点、Copilotが60点、Claudeが61点、そして、FugakuーLLMは0点です。
読売新聞によれば、「開発されたＬＬＭは、生成ＡＩの性能の指標となる「パラメーター」の数が１３０億。日本語の理解・対話能力について、パラメーター数が１０００億以上に上る米ＩＴ企業のトップ級の生成ＡＩと部分的に匹敵したとチームは説明している。」と書かれていました。
130億のパラメータを何のフィルタリングもせずに学習させた結果、不良の子に育ってしまったのではないかと思いました。
130億のパラメータのうち、X（旧Twitter）のデータが占める割合はどのくらいなのでしょうか。入手が簡単なSNSからたくさんのデータを学習させた結果が、「Fack you!」や「狂ってる」の連呼につながっているのでしょう。
また、SNSで使われている日本語はハチャメチャなので、このデータを大量に学習すると、よい子には育ちそうがありませんね。
Chat画面
実際のChat画面は以下のようになります。
コマンドプロンプトの場合は、「Send a message」の部分に質問を書きます。
すると、答えを生成してくれるのですが、問題は、下の赤線の部分です。途中で生成を中止したため、これだけですが、放置すると、質問とまったく関係のない内容の記述を延々と出力し続けます。その内容は、どう見てもステルスマーケティングを思わせる情報になっています。
強制的に中止するには、[Ctrl]+[C]を押します。たぶん。
Chrome-Ollamaの場合は、ChatGPTなどと似たインターフェースになっています。
[Model]に[fugaku-llm]を設定しています。
サンプルとして「紫式部の家系図を説明してください。」としました。
日本生まれの悪い部分が表出した結果かも
日本生まれの生成AIだから、日本の情報にはとても詳しく、当然、日本語表記も完璧。
通常はこのように考えるのですが、そこには落とし穴が。
SNSの文章を読むと、誤字・脱字、省略形、誹謗・中傷、誤謬など、何でもありの世界です。データの入手が簡単なSNSのデータを大量に読み込ませて学習させるとどんなことが起きるか。そこには、データの質という概念が欠落していたのでしょう。そうでなければ、質問者に対して「Fack you!」とは回答しないでしょう。最低でも、結果の出力時点のフィルタリングで、このような結果を出力させない仕様が求められます。
例えば、Copilotでは、途中まで結果を出力するものの、途中で出力がキャンセルされることがあります。出力レベルのフィルターが検知した結果、出力を続けることができず停止したのだと思います。
少なくとも、今回のFugakuーLLMは、不良になった三歳児、というイメージです。使い物になるのはまだまだ先でしょう。
ちなみに、「きさらぎ駅」についての回答は、質問するたびに、青森から九州まで、あちこちの駅をここがきさらぎ駅だと教えてくれました。駅番号が回答に書かれているので、この番号は○○駅だと間違いを指摘すると、別の駅を回答します。この挙動は出始めの頃のChatGPTと同じ感じです。
三歳児なので、自分が悪いとは考えないようです。延々と嘘の情報を生成し続ける。そして、最後は、無意味な文字列を生成し続け、外国語表記になり、「狂ってる」を連呼して終わる。
このような生成AIは他では見かけないので、ぜひ、自分で試してみてください。
ここで思い出したのが、TikTok の”わたちゃん（渡辺あやの）”の片言の幼児の動画。
管理人はこの動画が大好き。何度見ても飽きません。渡辺あやのさんだからそう思えるのでしょうね。この動画を再生するたびに笑ってしまいます。FugakuーLLMは不快なだけですが。
@_wata.a 面白い芸人さん教えてください全部見ます❗️❗️(※途中カラコンズレます)#tiktokに春が来た #popsicle おすすめのりたい
♬ Popsicle – Josh Mericle
実際のチャットをアップしていきます。少しずつアップします。
下のチャットは、生のゼンマイ（山菜）を頂いたので、時間をかけてあく抜きした後、何の料理にするか迷ったので聞いてみました。
すると、「乾燥させたゼンマイを・・・」と生成を始めたので、中止ボタン。「生のゼンマイ」であることを補足しました。
すると、こんな感じになります。「＿。」を一個生成するのに1秒以上。「ああ、なるほど」と生成したので理解したのかと思ったら、違いました。
さて、下の画像のように「＿。」をたくさん生成するのにどれくらい時間がかかったか。
