【テクニカルレポート】CELLレグザの超解像技術……東芝レビュー

　DVDソフトやインターネットで配信される映像（ネット映像）など、画素数がフルHD（1,920×1,080画素）に満たない映像は数多く存在する。これらをスケーリング（画面サイズの変更）処理で引き延ばすだけでは不鮮明な画像しか得られないが、東芝のデジタルハイビジョン液晶テレビ（TV）レグザ（REGZA）シリーズでは超解像技術により、きめ細かな描写を再現した。

　今回、レグザシリーズのフラグシップモデルである“CELLレグザ”には、CELLプラットフォームの高速計算処理能力を生かした、“ネット映像向け圧縮ノイズの除去”、“自己合同性を用いた超解像”、及び“色超解像”という3種類の新技術を搭載した。これらの技術の採用により、従来のレグザを超えた新たな映像世界を創造できるようになった。

1. まえがき

　地上デジタル放送やDVDソフト、ネット映像など、画素数がフルHDに満たない映像は数多く存在するが、従来はこれらをスケーリング処理で引き延ばしていたため鮮鋭感が不十分であった。これに対して東芝が2008 年に商品化したレグザでは、再構成型の超解像技術により画素を復元することで、きめ細かな描写を再現できるようにした。

　今回のCELLレグザには、CELLプラットフォームの高速計算処理能力を生かした、ネット映像向け圧縮ノイズの除去、自己合同性を用いた超解像、及び色超解像という新しい3種類の超解像技術を搭載した。これによって、従来のレグザを超える高画質を実現することができた。

　ここでは、これらの新たに搭載した技術の概要と特長について述べる。

2. 入力映像に対する処理の流れ

　CELLレグザに入力される映像ソースは、大きく分けてネット映像と放送映像に分類される。それぞれの入力映像に対する処理の流れを図1に示す。

　ネット映像に対してはネット映像向け圧縮ノイズ除去が、放送映像に対しては放送映像向けノイズ除去が、それぞれ施される。こうしてノイズを除去した映像信号に対して、再構成型の超解像処理、自己合同性を用いた超解像処理、及び色超解像処理が施されて鮮鋭な映像が出力される。

　以下では、3章でネット映像向け圧縮ノイズ除去技術、4章で自己合同性を用いた超解像技術、5章で色超解像技術について述べる。

3. ネット映像向け圧縮ノイズ除去技術

　近年、ネット映像をパソコンで楽しむスタイルが広く浸透してきた。しかし、そうした映像の多くは画素数がフルHDに満たないため、大画面TVで観賞するには満足できる画質ではなかった。

　これに対して超解像技術を適用し、鮮鋭感を維持して画素数を増やすことができる。しかしネット映像は、インターネット帯域の制約から放送映像よりも低いビットレートへのデータ圧縮が行われているため、圧縮に伴うノイズが多く生じており、これに超解像技術を直接適用すると、ノイズが強調されてしまうことがある。

　そこでCELLレグザでは、今回新たに開発した曲面モデル最適化方式を用いて圧縮ノイズを検出して除去し、その後で超解像技術を適用することにより映像本来の画質を再現できるようにした（図2）。

3.1. 従来技術

　圧縮ノイズを除去する場合にはEフィルタがよく用いられる。これはエッジの急しゅんな輝度変化を維持しつつ小信号ノイズを除去するフィルタである。しかし、エッジを残して小さな凹凸を消してしまうため、全体的に平たんな印象の映像になるという欠点がある。

　Eフィルタの欠点を解消した方式としてカーネルリグレッション方式が近年注目されている。カーネルリグレッション方式は、曲面モデル（多項式曲面）を画像に当てはめることにより、細かい凹凸を再現できる。しかし、曲面当てはめには、曲面モデルの次数が高いと画像の再現性が高く、曲面モデルの次数が低いとノイズ除去性能が高いという特性がある。従来のカーネルリグレッション方式では、画面全体で一つの曲面モデルを用いるため、次数が低い曲面モデルを用いるとノイズは除去されるが映像がぼやけてしまい、次数が高い曲面モデルを用いると凹凸の再現性は高いがノイズが除去できない、という二律背反のトレードオフ関係がある（図3）。

3.2. 曲面モデル最適化方式

　このトレードオフを解決するため、まず圧縮ノイズを解析した。圧縮ノイズが混入した画像を、エッジに垂直に交わる方向（エッジ法線方向）と、エッジに接する方向（エッジ接線方向）の2方向に分解したところ、エッジ法線方向には画像本来の成分が抽出され、エッジ接線方向には圧縮ノイズの成分が抽出されることがわかった（図4）。これは、画像符号化で強い圧縮をかけると斜め方向のエッジが再現できなくなり、それが圧縮ノイズに変化してしまうことが原因と考えられる。

　この解析結果から、エッジ法線方向では曲面モデルの次数を高くし、エッジ接線方向では曲面モデルの次数を低くすることで、エッジの再現性を高くしながら圧縮ノイズを除去できることがわかる。この特性を持たせるため、画像の（x,y）座標をエッジ方向に回転させ、エッジ接線方向をu 座標、法線方向をv座標に取った（u,v）座標上で曲面当てはめを行う。（u,v）座標上の曲面モデルにおいて、u座標の次数を低くし、v座標の次数は高くすることにより（図5（a））、エッジの再現性を高くしたままノイズを除去することができる。

　同様に、テクスチャ用と平たん部用の曲面モデルも用意し（図5 （b）、（c））、対象画素周辺のエッジの強さや形状に応じて用いる曲面モデルを決定するようにした。テクスチャ部では、画像の再現性を高くするため高次多項式を用い、平たん部ではノイズを除去するため低次多項式を用いる。

　この方式を用いることで、エッジの再現性を高くしたまま圧縮ノイズを除去できる。また、エッジ、テクスチャ、及び平たんに適した曲面モデルを用いることで、それぞれに最適な圧縮ノイズ除去ができる。

　この方式を用いたノイズ除去の流れは、次のとおりである。

（1）　着目する画素周辺におけるエッジの方向、強さ、及び形状を求める。
（2）　エッジ方向に座標を回転する。
（3）　（1）で求めたエッジの強さと形状に応じて、エッジ、テクスチャ又は平たんの曲面モデルを選択する。
（4）　（3）で選択した曲面モデルを用いて曲面当てはめを行う。
（5）　（4）で当てはめられた曲面における座標中心の画素値を、この画素の出力画素値とする。
（6）　全画素に対してこの処理を繰り返す。

4．自己合同性を用いた超解像技術

　1枚の画像の中で被写体の輪郭などのエッジ部分は、そのエッジに沿って同じような輝度の変化が連なっていることが多い。つまり、エッジの一部分に類似した絵柄が近隣に複数存在している。このような画像の性質を自己合同性と呼ぶ。

　一例として、人の頬（ほお）の輪郭部分の輝度変化を立体的に表したグラフを図6に示す。同じような輝度変化の絵柄が頬の輪郭に沿って続いている。この自己合同な部分の画素を、近くにある別の点の標本値として用いることで精密なエッジを再現するのが自己合同性を用いた超解像技術である。

　図7に示すように、入力画像のライン上には等間隔に標本化された画素（青い丸で示した点）が存在している。各ラインの画素は、エッジ部分の異なる位置の輝度変化を標本化したもので、同じような分布となっている。ここで中央のラインに着目し、このラインと自己合同となる別のライン上の画素を検出し、着目ライン上の新たな標本点として当てはめていく。図7の赤い丸で示した点が新たに追加された標本点である。

　このようにすることで、入力画像の画素間を単に補間フィルタを用いて補間したのでは得られない精密さでエッジ部分の変化を再現することができる。

5. 色超解像技術

　デジタル放送の映像信号は、膨大な情報量を効率よく圧縮するために輝度の情報に対して色の情報を1／4に減らしている。図8 に示すように、色の標本点は、輝度の標本点に対して、水平・垂直方向とも1／2に間引かれている。これを4：2：0クロマフォーマットという。

　CELLレグザでは、自己合同性を用いた超解像技術を色信号にも適用し、色の情報を輝度の情報の1／2（4：2：2クロマフォーマット）にまで復元している。色超解像処理後の画面上の輝度と色の標本点を図9に示す。このように色の標本点を垂直方向に2倍に増やすことで、色の境界部分の描写力を向上させた。

　なお、色超解像処理の前処理として、インタレーススキャン（飛越走査）の映像信号をプログレッシブスキャン（順次走査）の映像信号に変換する順次走査変換処理を色信号に対して行っている。この処理は動き適応型の3次元処理となっており、色超解像処理の前にも色信号の垂直解像度を向上させている。

6. あとがき

　CELLプラットフォームの高速計算処理能力を生かした三つの新しい超解像技術について述べた。今回のCELLレグザにより、現在TVで実現できる最高の画質を示すことができたと考えているが、CELLプラットフォームだけでなく、汎用チップなどへの搭載に向けてアルゴリズムの改良を進めている。

　今後も、TVに入力される様々なコンテンツを美しく視聴できるように、いっそうの高画質化技術を追求していく。

■執筆者（敬省略）

・三島直　MISHIMA Nao
研究開発センターマルチメディアラボラトリー研究主務。
画像処理技術の研究・開発に従事。
Multimedia Lab.

・山内　日美生　YAMAUCHI Himio
ビジュアルプロダクツ社コアテクノロジーセンター AV技術
開発部グループ長。高画質化技術の開発に従事。映像情報
メディア学会会員。
Core Technology Center