はじめに
ネットで、画像のモザイク除去や高解像化について調べると、”PULSE” というプログラムがヒットします。
このプログラムのデモ動画や写真を見ると、モザイクがかかっていたり画質のよくない画像が恐ろしく鮮明な画像に復元されているように見えます。
これって本当でしょうか。
結論から先に書くと、デューク大学で開発されたAIを用いた”PULSE” というプログラムは、AIがディープラーニングしてあらかじめ作成した高解像度画像の架空の人物をもとに、これを見合った低解像度にダウンスケールした画像を探していくという方法を取るようです。つまり、高解像画像を入力画像と同じようにぼかし、ボケ具合が同じようなものを正解としてその高解像版を出力するプログラムのようです。したがって、元の画像のことなどお構いなしに、学習したデータから適当に人物を合成してしまうため、アジア人でも白人に仕上がるという特徴があります。
学習モデルをアジア人にセットすれば、アジア人に近づくのでしょうが、どうも期待したものとは違うように感じます。
実際のPULSEの性能はどうなのでしょうか。中国の女子高生のモザイク画像で試してみることにしましょう。
PULSEを使ってみる
画像サンプルとして使うのは、「DeepMosaics」というソフトで使われているモザイク付きのサンプル画像です。
これをPULSEで処理すると下の画像になります。
画像はとても鮮明なのですが、これじぁ、モザイク除去でも、高解像化でもありませんね。AIが勝手に創り出した架空の人物画像を見せられているだけです。
ちなみに、PULSEの紹介動画でよく見かける処理過程を動画にすると、今回のサンプルでは下のようになります。
「DeepMosaics」 で処理するとどうなるのか
では、動画や静止画のモザイクを除去できる（とされる）「DeepMosaics」で処理するとどうなるのでしょうか。
処理した結果が下の画像です。
いかがでしょうか。キレイにモザイクが除去されています。「PULSE」とは比べものにならないくらい自然な感じに仕上がっています。何よりどう見ても中国人です。
ところで、この画像は、本当にモザイクをかける前のオリジナル画像に近いのでしょうか。
そこで、元画像を探すとすぐに見つかりました。それがこれです。
なんと、「DeepMosaics」は、モザイクをほぼ完全に除去していたということが分かります。
このような結果を見ると、 「DeepMosaics」 について関心が湧くと思います。
では、 「DeepMosaics」 は本当に優れたソフトかと問われれば、答えは「NO」です。このサンプル画像ではキレイにモザイクが除去できました。しかし、他のモザイク付き画像ではほとんど除去できないというケースもあり、むしろキレイに除去できる方がまれです。どうやらモザイクの相性があるようです。
DeepMosaics に興味をもたれた方は・・
今回の記事のような事例を示されると、 DeepMosaics に関心を持つと思います。しかし、試してみようなどと思わない方がよいと思います。その理由は、膨大な時間がかかる割に、期待したような結果が得られないからです。
DeepMosaics は、動画も静止画も処理可能です。静止画の方は数分で処理が完了しますが、かなりの確率でモザイク除去に失敗します。動画のモザイク除去については、処理にはとてつもなく長時間を要します。そして、モザイク除去に失敗することもしばしば起きます。この点、JavPlayerがいかに優れているかを実感するのですが、残念ながら、JavPlayerは現在、配布を停止しているため、ダウンロードできません（追記：再開しました！）。
なお、PULSEについても自分でやってみようと考えた人もいると思いますが、やめた方がよいでしょう。理由は、とてもめんどくさいからです。
それでもやりたいという方のために、管理人が今回参考にしたサイトをご紹介します。
「知のマイニング」というサイトの「AI(PULSEモデル)による低解像度画像の高解像度画像への変換」という記事です。このやり方は勉強のため初めて試したのですが、とても面倒くさい。記事の下の方でもっと簡単に試す方法を紹介します。
今回の記事では、モザイク除去と高解像度をごちゃ混ぜにした書き方をしています。理由は、PULSEが高解像処理をする対象として、モザイク画像のような低解像画像も扱っているからです。
PULSE の使い方
PULSE の使い方について、簡単にご紹介します。
管理人にはPULSEはとても難しいソフトなので、実際の所、使い方はよくわかりません。でも、自分で試せる程度分かればよいと考え、必要最小限のことを全くの素人でも使えるように書きます。
まず、「cedro-blog」さんのサイトにアクセスします。
3. コードにある「この「リンクを」」をクリックします。
ちなみに、これをクリックしても、このサイトに書かれているような「Colab on Web」ボタンなど表示されません。だから困るのです。
リンクが開くと、下の画面が表示されるので、「Open in Colab」ボタンをクリック。
すると「Google Colab」が開く。とりあえず、Gmailでログインしておく。
画面左上の横三本線「≡」をクリック。目次が展開する。
右ペインの「セットアップ」の直ぐ下にある
[1] # Githubからコードをコピー をオンマウス。すると[1] が [▶] に変化するので、これをクリック。
以下、同様に、[2]、[3]、とクリックしていく。（処理が完了してから、次に進むこと！）
[3] まで終わったら、左ペインの三本線[≡]の一番下にある「ファイル」アイコンをクリック。「Pulse」フォルダが表示されているはず。
ここで、自分が処理したい画像をセットします。デフォルトの画像は削除します。これが残っていると処理時間が長くなるので。
「pulse」フォルダを展開し、 [pulse] ⇒ [sample] ⇒ [pic] と進み、[pic] フォルダの中の三つのファイル（pic01.jpg、pic02.jpg、pic03.jpg）を削除する。削除の仕方は、削除するファイルを選択すると、右に縦三点のボタンが表示されるので、これをクリックするとメニューが表示される。「ファイルを削除」をクリックしてファイルを削除する。
全て削除したら、自分が処理したい画像をアップロードする。[pic]フォルダをクリックし、その右横の 縦三点のボタン でメニューを開き、[アップロード]を選択し、画像（複数でもOK）をアップロードする。
これで、画像のセット完了。
あとは、[4] 、[5]、・・・とクリックしていく。一つ一つの処理が終わってから、次をクリックすること。
作業はこれだけです。
池田七帆ちゃんのpicフォルダ登録画像がこちら。
これを処理すると、こんな感じになります。
40代のおばさんになった七帆ちゃん？ 右側の画像は、少し横向きだったのが原因だと思うのですが、キレイに処理されていません。
上の手順の途中で、「マウント」するときに認証コードの入力を求められる場合があります。その時は、表示されたリンクをクリック。Gmailのログイン画面が表示されるので、ログインすると認証コードが表示されます。それをコピーして、認証コード欄に貼り付けます。
PULSEを試してみたい人はこの方法が一番簡単！
なかなかハードルが高いPULSEですが、ちょっと試してみたいという方には以下の方法が最も簡単だと思います。ただし、高倍率処理はできませんが、PLUSEの能力を知りたいという場合にはオススメです。何しろ、ワンクリックして画像を指定。あとは数分待つだけなので誰でもPULSEを試してみることができます。
具体的な手順は以下の通りです。
① 「PULSE Demo」にアクセスします。
② Gmailでログインします。
③ 次に、▶ アイコンをクリック。アイコン周辺が回転を始めます。
④ 「警告：このノートブックはGoogleが作成したものではありません。」と警告が表示されるので、[このまま実行]をクリック。
⑤ 少し経つと、画面下方に「参照」ボタンが表示されるので、これをクリック。処理したい画像を選択。
作業はこれだけです。あとは数分待ちます。
作業が完了すると下のように表示されます。
用いる画像は、JPGでもPNGでもOKです。顔だけトリミングする必要もありません。全身像から顔だけ自動でトリミングしてくれます。また、写真は正面向きがベスト。斜め向きだとよい結果は得られません。
ところで、上の画像は誰でしょうか？ 答えは坂本龍馬です。
この処理内容に満足したら、上で紹介した方法で高解像版を作ってみるという流れがよいと思います。
オススメブラウザはChromeですが、Firefoxでも問題ありません。
おわりに
PULSEはかなり有望と思っていたのですが、期待した結果は得られません。このプログラムを紹介しているサイトってほとんど詐欺のような感じを受けます。たまたまうまくいった画像を掲載しいる、と。
何事もやってみるのが一番です。自分でヤリもしないでお手軽パクリ画像を使ってPULSEの記事を書いているライターの記事って、読む価値すら感じない内容です。アクセス数を稼ぐためだけに書いた単なる感想文です。
