SOLUTION ソリューション
3次元画像処理技術のコンサルティング・技術開発
概要
空間把握・空間再構成・物体認識・NUI開発等を必要とされているお客さまに、技術コンサルティング・技術評価・ソフトウェア開発等の支援を行います。
サービス内容
RGB-D画像（カメラ画像＋デプスマップ）の利活用に際して、市販の3次元画像処理ツールでは解決困難な課題をお持ちのお客さまに、3次元画像処理のエキスパートが解決方法をご提案いたします。また、点群の生成、各種画像・点群処理、物体認識、多視点映像からの全方位映像の生成といった技術課題に対して、技術開発、技術評価からソフトウェア開発、システム構築までをトータルに支援いたします。
目的 （例）
|
・周囲の環境認識 ・NUI（Natural User Interface） ・仮想現実 ・3D映像 |
・自己位置推定 ・3次元物体認識 ・形状・大きさ・距離計測 ・人物姿勢トラッキング |
技術課題（例）
|
3次元画像処理・3次元点群処理 ・キャリブレーション・点群生成 ・空間再構成・空間把握 ・メッシュ生成・3Dモデル化 ・形状認識・物体認識・動き認識 |
実用化 ・高速化(GPU/マルチスレッド)・システム化 ・可視化（OpenGL®/WebGL™） |
課題解決の流れ（例）
サービスメニュー
|
・技術コンサルティング ・技術調査・技術評価 ・システム構築 |
・技術開発・研究開発 ・ソフトウェア開発 |
技術分野
3次元画像処理・3次元点群処理
近年、Kinect™に代表される低価格の3Dセンサー搭載デバイスの登場により、カラー画像（RGB）に加えてデプスマップ（D）を低コストで取得できるようになりました。デプスマップ（または距離画像・深度マップ）とは、3Dセンサーから対象物までの距離情報を画素値とする画像(上図左下)のことです。また、VRヘッドマウントディスプレイや3Dプリンターなど、3次元データを出力するデバイスの性能向上や低価格化が進み、3次元データの利活用が身近なものとなってきています。
しかし、このようなデバイスを用いてシステムやアプリケーションを構築しようとすると、センサーの選定や、撮影環境の整備、3次元データの取り扱い等、多くの検討項目に直面することとなります。
当社では、点群データやデプスマップ、全方位映像といった3次元データに関わるお客様のさまざまな課題を、3次元画像処理や、点群処理、各種センサーのキャリブレーション、機械学習の利用などといった技術的なアプローチで解決いたします。
1. 空間再構成
多視点映像やRGBカメラと3Dセンサーの組み合わせなど様々な条件下において空間を再構成します。2. 環境認識
再構成した3次元空間を用いて、周囲の環境・状況を認識し、障害物等を把握します。3. 自己位置推定
既知座標にあるランドマーク等の情報を使い、移動体に取り付けた3Dセンサーの現在座標を推定します。4. 環境地図作成
撮影されたデータと位置情報から、2次元または3次元の環境地図を作成します。5. SLAM(Simultaneous Localization and Mapping)
移動しながら連続的に自己位置推定と、環境地図生成を行います。6. センサーキャリブレーション
光学カメラ、RGB-Dセンサー等、センサー単体のキャリブレーションや、多視点カメラ、複数RGB-Dカメラ、RGBカメラとLRFの組み合わせ等、複数センサー間のキャリブレーションを行います。7. Virtual Reality
コンピュータ上に生成した仮想的な空間に、3次元点群や、全方位映像を配置することで3次元空間を再現します。さらにVRヘッドマウントディスプレイを用いた提示を行うことで、高い没入感を実現します。8. 形状・距離計測、3次元データ編集
対象物の形状や距離を計測します。また、測定された3次元データの形状変形や、ノイズ除去、スムージング、データサイズ圧縮等をします。9. 3次元物体・人物認識
撮影したデータから3次元的な形状を認識し、人物認証や物体認識を行います。また、人物の姿勢や動き、顔の向き等を認識します。10. NUI(Natural User Interface)
マウスやキーボード操作に替わって、機器に触れずに身体や顔の動きでコンピュータ等の操作を行います。
デバイス例
| 用途 | 製品名等 |
|---|---|
| 3次元計測・撮影 | Laser Range Finder（Velodyne®, FARO®, 北陽電機） RGB-Dセンサー（Kinect, Senz3D®, Xtion PRO Live™, ZED） 全方位カメラ(RICOH THETA®, 360 Heros™) |
| VR提示 | Oculus Rift™, HTC Vive™, Hololens™, Tango™ |
| 3Dプリンター | 3D Systems Cube™ |
技術例
| 用途 | 技術 |
|---|---|
| 点群フィルタ | 外れ値除去, 移動最小二乗法, ガウシアンフィルタ, ダウンサンプル, アップサンプル |
| 画像処理 | 各種画像処理技術 |
| レジストレーション | 特徴量ベース, ICP |
| セグメンテーション | Region Growing, モルフォロジー |
| メッシュ生成 | Delaunay, Marching Cubs, 陰関数曲面, Greedy Triangulation |
| キャリブレーション | Zhangの手法, 直接法 |
| 特徴量 | AAM, Harris Corner Detector, haar-like, HOG, Gaborフィルタ, SIFT, SURF, Spin Image, SHOT, FPFH, PPF |
| 学習・識別・解析 | 主成分分析, 独立成分分析, ニューラルネットワーク, 最近傍法, K-means法, AdaBoost, ランダムフォレスト, SVM, カルマンフィルタ, パーティクルフィルタ, ベイズ推定 |
| キーワード | 3Dセンサー, RGB-Dカメラ, 点群処理, 画像処理, デプスマップ, 点群, 3次元計測, 3次元物体認識, SLAM, 空間再構成, 3Dスキャン, 動き検出・追跡, Point Cloud Library(PCL), OpenCV, Unity™ |
|---|
開発事例
【事例1】Microsoft Kinect™ v2を用いた3次元形状の復元
Kinectから取得した1組のRGB-D画像は対象物を1方向から撮影した画像であり、遮蔽により見えない部分の形状は取得できません。そこで、対象物を取り囲むように複数の方向から撮影し、各方向の点群データの生成、さらに点群データの位置合わせ（レジストレーション）と合成を行うことで、対象物の3次元形状を取得します。点群データの位置合わせでは、同時に各方向での3Dセンサーの位置や角度も推定します。
また、1回の撮影で捉えることができない、部屋等の周囲環境に対しても、同様の方法で3次元形状を取得することができます。
| キーワード | レジストレーション、ICP、空間再構成、3Dモデル生成、SfM、センサーキャリブレーション |
|---|
【事例2】Kinect v2を用いたNUIの開発
NUIとはNatural User Interfaceの略で、コンピュータ・電子機器の操作をマウスやキーボードではなく、手の動きや声等人間の自然な動作で行う方法です。
Kinectに代表されるモーションセンサーデバイスにより人物などの対象物を認識することで、操作機器に直接触らなくても、腕・脚・手・指先・顔のパーツの動きを用いて操作可能なアプリケーションを実現することができます。
例えば以下のようなアプリケーションの実現をお考えのお客さまに、技術検討段階からソフトウェア開発までを行います。
・触れられない、または触れない方が便利な機器の操作
・触れなくとも動作する新鮮さで興味をひくデモやプレゼンテーション
| キーワード | NUI, Kinect™, Intel® RealSense™テクノロジー, Leap Motion™, ASUS Xtion PRO LIVE™, モーションキャプチャ、 音声認識, 人物姿勢認識, トラッキング, OpenCV, OpenNI, リアルタイム |
|---|
【事例3】多視点映像からのHead Mounted DisplayによるVirtual Reality体験システム
国立研究開発法人 防災科学技術研究所の実大三次元震動破壊実験施設（Ｅ－ディフェンス）内で大地震を想定した揺れを与えられた建物内部の様子を記録するため、多視点映像の撮影および全方位映像を作成するシステムを開発しました。このシステムでは、まず複数台の高解像度カメラを室内に放射状に配置して、非同期の多視点動画を遠隔操作により撮影し、全方位映像を取得します。次に、取得した非同期多視点動画の時刻同期処理を行い、さらに投影変換と歪み補正を行って全方位映像を生成します。最終的に生成した全方位映像をHead Mounted Displayで提示することによって、建物内の地震被害を高解像度でVirtual Reality体験できます。
本システムは、防災科学技術研究所と共同で特許登録済みです。
| キーワード | 複数視点映像撮影、同期処理、全方位映像生成、VRデバイス提示 |
|---|
【事例4】多視点RGB-Dセンサーデータの時系列点群データ処理
大規模地震を想定した揺れが構造物へ与える変化を3次元的に把握することを目的に、大規模点群データの可視化システムを開発しました。このシステムでは、 RGB-D（3D）センサーを複数台設置し、各々のセンサーから3次元データを取得します。その大規模な3次元データから色つき点群データを生成し、各センサー位置と方向を推定します。座標空間を統一して位置合わせを行うことで、3次元モデルを再構築できます。また、時刻同期を行うことで時系列動画として4次元データ生成も行いました。膨大なデータ量を処理するために、フレームレートに応じて効率的なデータ量削減やスムージングを行うなど、リアルタイム性を高める工夫を加えています。これらの技術は高精度な次世代3次元センシングおよび3次元解析を担っていくことが期待されます。
| キーワード | RGB-Dセンサー複数台設置、同期処理、時系列点群データ処理 |
|---|
【事例5】3次元点群データからの機械学習によるサイズ判別システムの開発
機械学習を用いて、コンクリートの材料となる骨材の粒径判別を行うシステムを開発しました。このシステムは、骨材搬送用のベルトコンベア上に設置したRGB-Dセンサーを用いて、骨材の点群データを取得し、ノイズ除去と3次元局所特徴量の計算を行います。さらに、この特徴量を用いて、機械学習により骨材の粒径を5段階に判別します。機械学習アルゴリズムやパラメーターチューニングを工夫し、1か月間に及ぶ連続稼働実証試験において高い精度で判別できることを確認しました。
本システムは、清水建設株式会社と共同で特許出願中です。
| キーワード | 骨材3次元計測、粒径判別、ノイズ除去、3次元特徴量、機械学習 |
|---|
【事例6】体表ROI生成とDICOM RT変換
一般的に放射線治療で治療計画を立案（照射方法の決定）する際に、CT画像の撮影を行いますが、放射線被ばくを抑えるため、通常、治療部位付近のみを撮影します。例えば、肺野であれば、両肺野が十分に入る領域のみを撮影し、診断および治療計画を立案します。治療計画の立案においては、線量集中性を高めるために様々な角度からの放射線照射を計画します。しかしながら、CTで撮影していない腕等が実際の治療時に照射装置と物理的に干渉（衝突）することを避けるために、照射装置を身体から充分に離れた位置として治療計画を立案するため、治療計画の自由度が限られてしまいます。
そこで、診断時にCT撮影とは別に3Dスキャナにより全身体表3Dモデルを撮影し、CT画像との位置合わせを行った上で、ROIデータに変換し、DICOM RT Structure フォーマットで治療計画装置に読み込ませることで、患者と治療装置の衝突を考慮した治療計画を立案することができ、治療計画の自由度を向上することが可能になります。（特許登録済）
| キーワード | 放射線治療,治療計画装置,ROI,DICOM RT Structureset,3Dスキャナ,レジストレーション,SHOT descriptor |
|---|
【事例7】LRFを用いた環境認識
LRF(Laser Range Finder)は赤外線レーザーを用いた測域センサーで、測量や形状認識、障害物検知などに用いられます。
当社では車載LRFや複数台のLRFで取得したデータを用いた、キャリブレーション、自己位置推定や空間再構成の技術調査、開発実績があります。
また、LRFデータに特有な外乱の影響を抑える技術開発の実績もあります。
| キーワード | LRF,LIDAR,自動運転,障害物検知,地図生成,自己位置推定 |
|---|
* OpenGLは、Silicon Graphics, Inc.の米国およびその他の国における登録商標です。
* WebGLは、Khronos Group Inc. の商標です。
* Kinectは、米国およびその他の国におけるMicrosoft Corporationの登録商標または商標です。
* Velodyneは、Velodyne LiDAR, Inc.の登録商標です。
* FAROは、FARO Technologies Inc. の登録商標です。
* SENZ3Dは、米国およびその他の国におけるCreative Technology Ltd.の登録商標または商標です。
* Xtion PRO LIVEは、ASUSTek Computer Inc.の登録商標または商標です。
* RICOH THETAは株式会社リコーの登録商標です。
* 360 Herosは、360Rize Inc.の登録商標または商標です。
* Oculus Riftは、Oculus VR, LLCの商標または登録商標です。
* HTC VIVEは、HTC Corporation の商標または登録商標です。
* HoloLensは、米国 Microsoft Corporation の米国及びその他の国における登録商標または商標です。
* Tangoは、Stratasys Inc.の登録商標または商標です。
* Cubeは、3D Systems Incの商標及び登録商標です。
* UnityはUnity Technologies Inc.またはその子会社の商標です。
* Kinectは、米国およびその他の国におけるMicrosoft Corporationの登録商標または商標です。
* Intel、Intel RealSenseは、米国およびその他の国におけるIntel Corporationの商標です。
* Leap Motionは、Leap Motion, Incの登録商標または商標です。
* Xtion PRO LIVEは、ASUSTek Computer Inc.の登録商標または商標です。
SERVICE MENU
本サービスでは以下のメニューをご提供します。
-
技術開発
-
技術動向調査
-
PoT・PoC支援
