画像・音声・CGでは何を学ぶ？

動画の背景を別の風景に変えたいとします。人の輪郭だけを取り出せればよさそうですが、髪の毛、透明な物、動いたときのぶれは簡単ではありません。さらに、背景を変えたのに光の当たり方が合わないと、コラ画像のように見えてしまったりします。^[1]

「画像・音声・CG」分野は、映像や音をデータとして表し、加工・認識し、新しい表現を作る分野です。撮影されたものを理解することと、まだ撮影していない場面を計算で作ることの両方が含まれます。

画像や音を、計算できる形で見る

デジタル画像を大きく拡大すると、小さな点の集まりとして見られます。この点を「画素」といい、それぞれの明るさや色を数値で表します。音も、ごく短い時間ごとの波の大きさを数値として記録できます。これらの数字を計算し直すことで、写真を明るくしたり、音を加工したりするのです。

ただし、計算すればいつでも見やすく・聞きやすくなるとは限りません。例えば、録音の雑音を減らそうとして、声の一部まで消してしまうことがあります。除きたいものと残したいものを、どのような特徴で分けるかが研究の問いになります。

動画では、前後の画像のつながりも必要です。一枚ではきれいでも、連続して再生すると輪郭がちらつく場合があります。静止画の評価だけで十分かを考えます。

認識する方法と、生成する方法

背景を変えるには、人と背景を区別する必要があります。輪郭や色を使う方法、学習したモデルを使う方法などが考えられます。どんな条件で間違うかを調べる点ではAIも関わります。

一方、CGでは、物体の形、光、材質、カメラなどを表し、そこから画像を計算します。コンピュータ科学の研究・教育で世界的に知られる米国のスタンフォード大学では、CG入門科目「CS148」で、物体の形や光・色をどう表すかを学び、光の進み方を計算して画像を作る制作課題に取り組みます。^[2]

音声でも、雑音を減らす処理、言葉を認識する処理、声を合成する処理は異なる課題です。

明るさや雑音を変えて処理の得意・不得意を調べる

同じ処理でも、明るい部屋で撮った写真と暗い部屋で撮った写真では結果が変わるかもしれません。うまくいった一枚を見せるだけでなく、どんな場面で使えるかを調べます。例えば、次のように条件を変えて比べます。

• 明るさや雑音などの条件を変え、処理結果を比較する。
• 同じ物体でも、向きや遮られ方によって認識が変わるか調べる。
• 光や材質の設定を変え、CGの見え方を説明する。
• 処理時間と、画質・音質・認識結果の関係を検討する。

出力を見て好みで選ぶだけでなく、数値による評価と人が見聞きした評価をどう使い分けるかも学びます。例えば、元の音との差が小さくても、言葉の聞き取りに大切な部分が欠ければ聞きにくくなることがあります。数値の比較だけで十分か、人に聞いてもらう必要があるかを考えます。

AI、HCI、ゲームとの違いと重なり

「AI・機械学習」分野では学習や推論の方法に、「画像・音声・CG」分野では対象の表現や信号の性質に重点を置く場合があります。両方が必要な研究も多くあります。

作った映像や音を、人がどう操作・理解するかを調べるなら「HCI・情報デザイン」分野、遊びや表現の体験として構成するなら「ゲーム・エンタテインメント」分野ともつながります。メディアが社会に与える影響を調べる「社会情報・メディア論」分野とは、同じ「メディア」でも問いの立て方が異なります。

大学で学ぶ科目

学部では、線形代数、確率、プログラミングを土台に、信号処理、画像処理、音声処理、CGなどを学びます。演習の例には、暗い写真の明るさを調整して細部の見え方を比べる、雑音を除いた声が聞き取りやすいか確かめる、物体と光の位置を変えて影を描く、といった課題があるかもしれません。

大学院では、画像認識、音声認識・合成、CGなどの専門科目と研究へ進みます。研究の例には、少ない写真から立体的な形を復元する方法、騒がしい場所でも言葉を認識する方法、布や液体の動きを計算で表す方法を考えることがあります。スタンフォード大学のアニメーションとシミュレーションを扱う専門科目「CS348C」では、布や液体などの動きを数式で表し、計算によって映像を作る方法を学びます。プログラミング課題に加え、自分で選んだテーマの制作にも取り組みます。^[3]

画像・音声・CGのすべてを同じ深さで学べるとは限りません。どの対象に関心があるかを考え、専門科目、演習、研究指導の内容を確認することが大切です。

「画像・音声・CG」分野を学べる大学学部・大学院を探すから、見えるもの・聞こえるものの仕組みを確かめてみましょう。

仕事・業界ガイドでは、仕事内容から関連する分野を確認したり、学びたい分野から仕事を調べたりできます。

tojihubの情報分野の区分について

tojihubは、画像・音声の処理と認識・CG・可視化を、この「画像・音声・CG」分野として整理しています。

CS2023と科研費の区分を参考にしています。参照した区分と、各分野に含める内容・隣接分野との関係は、「18の分野について」のページで説明しています。