ニューラル・ネットワーク

新しい画像拡大技術『Neural Enhance』

1

ニューラル・ネットワークを使って画像の解像度を上げる『Neural Enhance』。画像を拡大する方法には色々ありますが、単純に拡大するとモザイクのようになってしまいます。綺麗に拡大したい場合は、何もない所から情報を補完する必要がありますが、その補完方法としてニューラル・ネットワークを用います。

今までも綺麗に拡大するアルゴリズムはいくつか存在していましたが、ニューラル・ネットワークは莫大なサンプルからデータを引っ張ってくるので、思いもよらない緻密さでディテールを再現することもありそうです。Alex J. Champandardさんの作品です。 続きを読む

白黒写真を自動でカラーにするWEBサービス

1-2

ニューラル・ネットワークを用いて白黒画像をカラーに変換するWEBサービス『Automatic Image Colorization』。とても使いやすいシンプルなUIで、画像をアップするだけでオートマチックにカラー化してくれます。サンプルとして『博士の異常な愛情』で試してみましたが、まず驚いたのは処理速度。1024×768の画像を数秒でカラー化してくれました。色つけのクオリティも高く、ユーザテストで約90%のユーザーが自然であると回答しているそうです。 続きを読む

ニューラル・ネットワークがアシストしてくれるペイントソフト

1

ニューラル・ネットワークによって絵を補完してくれるWEBアプリのデモ。大雑把なネコの輪郭を示しただけで絵画のように描かれています。手順は描きたい対象を左のリストから選びキャンバスで場所を指示するだけ。あとは自動でディテールを補完してくれています。NNで白黒写真を自動でカラーにするものがありますが、これも同じように莫大なサンプルを元に学習したトレーニングデータからディテールを引っ張ってきています。作者はMichael Carlonさん。精度が上がれば、いずれPhotoShopにも搭載される未来がやってくるかも。 続きを読む

Vagrantでニューラル・ネットワークの画像合成環境を構築

top

上の写真のように、ニューラル・ネットワークで2つの画像を合成する環境をVagrant上に構築します。WEBサービスのOstagramと同じ機能です。

2つの素材から実用に耐える素材を作り出す力があるので、すでに実用域の技術になってきている気がします。人の輪郭が波で自然に縁取られているのを見ると、単純に合成しているわけではないのが分かります。

最終的に動かしたいプログラムはgitに公開されているneural-styleです。もしNVIDIAのGPUがあれば、CUDA(クーダ)というライブラリを導入することで高速化できるようですが、私の環境はMac mini Late 2012なので地獄のCPU演算で。 続きを読む

ピカソ風にうつる鏡

top

カメラの映像をほぼリアルタイムでキュビズム風に変換して表示する鏡『Cubist Mirror』。alt-AIエキシビションで発表されたGene Koganさんによる作品。ニューラルネットワークによってキュビズム風のスタイル画像とカメラ映像を組み合わせていると思われますが、ほぼリアルタイムで出力している実行速度が特徴的です。

この手法のように、ニューラルネットワークを用いて2つの画像を組み合わせるWEBサービスとしては『Ostagram』があります。サイトではユーザーによる驚くような作品が沢山見れます。 続きを読む

ニューラル・ネットワークの美的感覚

1

2つの画像をニューラル・ネットワークを使って合成させるロシアのプロジェクト『Ostagram』。隅々まで配慮が行き届いた凄いクオリティで、まるでプロの画家が描いたようです。双方の特徴が見事にピックアップされています。

GoogleのDeepDreamも同じように画像から特徴を抽出しますが、出力される絵はまるで悪夢のようで、人間的な美的感覚が通用しない感じがありました。そこがまたAIっぽくもありましたが、Ostagramの出力結果は、質の良い作品が抽出されているとはいえ、美しさを感じます。

リンク元には60を超える作品が掲載されておりますが、どれも見事な出来栄えです。人が美しいと感じるものをAIが作り出せる未来。いずれ小説や映画もAIが作ったほうが面白いという時代がきそうです。 続きを読む

白黒写真が自動でカラーに『Automatic Colorization』

top

白黒写真や動画をディープ・ラーニングを用いて自動でカラーに変換。Ryan Dahlさんによるプロジェクト『Automatic Colorization』です。Photoshopなどを使えば白黒写真に着色するのは比較的簡単ですが、何色で着色するか?というのは個々人のセンスや知識が問われます。

このプロジェクトは、その部分にディープラーニングを用いることで、例えばりんごなら赤という認識を莫大なサンプルから識別していきます。対象は写真に限らず動画もOK。サンプルではチャップリンのショートフィルムがカラーになっています。 続きを読む

凄すぎて意味不明 ニューラル・ネットワークでライティングを後から変更する技術

1

SIGGRAPH 2015で発表されたニューラル・ネットワークを用いたイメージベースのリライティングシステム『Image Based Relighting Using Neural Networks』。複数の画像を用意することで、上のGIFのようにライティングをあとから変えられるというテクノロジー。Microsoft Research Asiaからの発表です。

画像を元に3Dモデルを作成しているわけではなく、あくまで画像ベース。影や光沢の変化はニューラル・ネットワークで演算しているようです。3Dではない平面画像から作成されたとは思えないクオリティ。極めて自然で実写としか思えません。凄すぎ。

インプットとなる複数の画像とは、あらかじめ各方向からライティングされた画像で、それを元に中間画像を補完している?と憶測できますが、ライトの特性を掴み出すのにニューラル・ネットワークを用いるのでしょうか。技術の当てもつきません。 続きを読む

ニューラル・ネットワークにAKIRAを見せたら

4

近年特に盛り上がりを見せているディープ・ラーニングによる画像認識。このGIFでは映像に何が写っているか?を自動記述しています。サンプルにはアニメAKIRAやCNNニュースが使われていますが、AKIRAのような非日常的な映像はまだまだ苦手なようで「a pair of scissors and a pair of scissors」なんて言っております。しかしニュース映像の認識率はなかなかのものです。

ライブラリはPython+オープンソースのNeuralTalkがベース、さらにNeuralTalkAnimatorにて動画対応したもの。

莫大なCPUパワーと大量のサンプルがあれば、どんどん賢くなって認識率は上がっていく訳ですが、そう遠くない未来には、一枚の写真から信じられない情報を引き出してくれそうです。 続きを読む

エンタープライズの認識結果

1

スタートレックTNGのOPをディープラーニングを用いて画像認識する動画。微妙に外してますが悪くない精度と、TNGというチョイスがナイスです。認識ライブラリはILSVRC12とありますが、どうも宇宙関係の識別は若干弱いようで、エンタープライズはODOメーターやCDプレイヤーに見えるようです。CDプレイヤーw 続きを読む