1 of 14

LDL: Line Distance Functions for Panoramic Localization

Junho Kim, Changwoon Choi, Hojun Jang, and Young Min Kim

Dept. of ECE, Seoul National University

2 of 14

Motivation

LDL localizes a panorama image with respect to a point cloud

3D Point Cloud

Query Image

6DoF Localization

Applications

AR Glasses

Robots

3 of 14

Motivation

LDL localizes a panorama image with respect to a point cloud

3D Point Cloud

Query Image

6DoF Localization

Why panoramas?

Wide FoV: Lesser ambiguities
Hardware becoming cheaper & accessible

vs

Panorama

Regular Fov

Ricoh Theta

Meta Aria Glasses

2x 150° cameras

저희가 파노라마 기반 위치 추정을 연구하는 데에는 크게 두 가지 이유가 있습니다.

첫째로, 파노라마를 사용함으로써 더 풍부한 주변 환경의 context를 고려할 수 있습니다.

그림에서 보시는 것처럼 기존의 방법론들이 주로 활용하는 작은 시야각의 카메라는 환경의 context가 풍부하지 못해 scene에 dynamic object가 있다거나, texture가 충분하지 않을 경우 잘 동작하지 않을 수 있습니다.

둘째로, 파노라마를 촬영할 수 있는 다양한 하드웨어가 등장하고 있기 때문입니다.

하단 그림에서 보시는 것처럼, 최근 ricoh theta같은 360도 카메라나, 메타에서 개발한 Aria glass같이 굉장히 넓은 각도의 시각 정보를 측정할 수 있는 장치들이 출시되고 있습니다.

4 of 14

Motivation

LDL localizes a panorama image with respect to a point cloud
LDL exploits lines in 2D and 3D to enhance robustness and reduce map size during localization

3D Line Cloud

2D Line Segments

3D Point Cloud

Query Image

6DoF Localization

Smaller map size
Robust to 2D-3D domain gaps
Robust to Illumination changes

5 of 14

Overview of LDL

LDL performs localization through a three-step process

Lines, Principal Directions,

and Local Features

1. Input Preparation

3. Pose Refinement

Local Feature Matching

2. Coarse Pose Search

3D Line Distance Functions

2D Line Distance Functions

Matching

LDL은 총 세 개의 과정으로 위치 추정을 수행합니다.

먼저, 2D와 3D 상에서 line segment를 추출하고, SIFT나 superpoint와 같은 local keypoint feature를 얻습니다.

이와 더불어, 저희가 흔히 생활하는 공간의 line들은 몇 개의 principal한 direction들을 가지고 있는데, (가령 이 방에도 가로, 세로 등의 direction이 있습니다), 이와 같은 principal direction을 중심으로 line들을 분류할 수 있습니다. 그 결과가 왼쪽 그림의 색깔들로 표시되어 있습니다.

이후 2D line과 3D line의 distribution을 함축하는 line distance function을 활용하여, 실제로 파노라마가 촬영되었을 수 있는 위치들을 rough하게 예측합니다.

보다 구체적으로, 여기서 저희가 하는 것은 하나의 2D line set에 대한 distance function 값들을 3D line map 상에서 샘플링한 여러 개의 위치들에서의 distance function 값들과 비교하여, 가장 distance function 값이 비슷한 위치들을 선택하는 것입니다.

마지막 단계로, 선택된 위치들의 pose를 traditional CV에서 많이 활용하는 local feature matching과 PnP-RANSAC이라는 알고리즘을 통하여 refine합니다.

6 of 14

Overview of LDL

Lines and principal directions are extracted for coarse pose search
Local feature descriptors are extracted for pose refinement

Lines, Principal Directions,

and Local Features

1. Input Preparation

2. Coarse Pose Search

3D Line Distance Functions

2D Line Distance Functions

Matching

3. Pose Refinement

Local Feature Matching

Input Panorama

Line Segments

Local Features

Principal Directions

7 of 14

Overview of LDL

Lines and principal directions are extracted for coarse pose search
Local feature descriptors are extracted for pose refinement

Lines, Principal Directions,

and Local Features

1. Input Preparation

2. Coarse Pose Search

3D Line Distance Functions

2D Line Distance Functions

Matching

3. Pose Refinement

Local Feature Matching

Input Point Cloud

Local Features

Line Segments

Principal Directions

8 of 14

Overview of LDL

Coarse pose search is performed by comparing line distance functions
Line distance functions are defined over the unit sphere for 2D, 3D lines

Lines, Principal Directions,

and Local Features

1. Input Preparation

2. Coarse Pose Search

3D Line Distance Functions

2D Line Distance Functions

Matching

3. Pose Refinement

Local Feature Matching

Line Segments

2D Line Distance Functions

3D Line Map (Top-Down)

3D Line Projections

이렇게 준비된 input들을 바탕으로, coarse pose search는 2D, 3D 상에서 정의된 line distance function들을 비교하면서 진행됩니다.

우선 2D line distance function은, 구면 상에서 정의된 함수로, 구면 상의 임의의 점에서 가장 가까운 line segment 까지의 거리로 정의됩니다.

오른쪽 그림은 2D line distance function을 heatmap으로 도식화한 것인데, line segment로부터 멀리 떨어진 영역들의 function 값은 크게 나타나고, 가까이 있는 영역들의 function 값은 작게 나타납니다.

3D line distance function도 이와 비슷한 방식으로 line map 상의 임의의 rotation, translation에 대해서 정의 됩니다.

오른쪽 하단에 보시는 것처럼, 이 경우 각 pose에서의 3D line projection들을 기반으로 distance function을 표현하게 됩니다.

9 of 14

Overview of LDL

Line distance functions are compared for pool of poses within the map
Selected poses with similar distance functions are used for refinement

2. Coarse Pose Search

3D Line Distance Functions

2D Line Distance Functions

Matching

2D Line Distance Functions

3D Line Map (Top-Down)

3D Line Distance Functions

Matching

10 of 14

Distance Function Decomposition

Line distance functions are decomposed along the principal directions to enhance coarse pose search

2D Line Distance Function Decomposition

3D Line Distance Function Decomposition

Decomposed Distance Function Comparison

Q

Line distance function의 pose search performance를 보다 증진하기 위해, 저희는 principal direction 기반의 line distance function decomposition을 추가적으로 제안하였습니다.

구체적으로, 2D의 경우 모든 line segment들을 활용하여 하나의 line distance function을 만들지 말고, line segment들을 principal direction에 따라 분리하고 distance function을 정의하면 보다 line들의 distribution을 더 세밀하게 표현할 수 있습니다.

3D의 경우에도 비슷하게 line distance function들을 principal direction에 따라서 decomposition해서 정의할 수 있습니다.

최종적으로, LDL은 이렇게 decompose된 distance function들을 비교하여, coarse pose search를 수행합니다.

중앙 하단에 보이는 cost function은 rotation, translation에 대해 정의되고,

구면 상에서 sparse하게 sample된 점들에 대해서 line distance function 값들을 비교합니다.

11 of 14

Localization Performance (Stanford 2D-3D-S)

Comparison Against Existing Baselines

Legend

PC	PICCOLO (ICCV 2021)
SB	Structure-based method
CD	Chamfer distance-based method
LT	Line Transformer (RA-L 2021)

Runtime per Pose

이제 주요 실험 결과에 대해서 간략하게 말씀드리겠습니다.

우선 왼쪽 표는 Stanford 2D-3D-S라는 데이터셋에서 LDL 평가했을 때의 median translation, rotation error와 localization accuracy 입니다 (여기서 accuracy는 error가 0.1m, 5도 이하인 예측들의 비율입니다).

LDL은 노란 박스로 표시된 neural network 기반 pose search 방법들과 비슷한 localization 성능을 보였습니다.

하지만 LDL의 진정한 강점은 runtime에 있는데요, line distance functio을 evaluatio하는데에 걸리는 시간이 neural network inference 보다 월등히 적기 때문에, 오른쪽 그림에서 보시는 것처럼 pose search를 하는데에 걸리는 시간이 pose search에 흔히 쓰이는 netvlad 같은 알고리즘들 보다 월등히 낮습니다.

12 of 14

Conclusion

We propose LDL, a line-based panoramic localization algorithm
LDL exploits line distance functions for fast and accurate pose search
Experiments verify that our method can indeed perform effective line-based localization with a fast runtime

13 of 14

What Will Be the Next Steps?

Currently LDL does not incorporate “learning” of any form
LDL often fails in large scenes such as hallways

Can we leverage neural networks to describe line distributions?

Devising neural fields that can effectively describe line maps will be interesting

Difficult Hallway Scenes

Neural Fields for Better Description?

Nearby Line

Information

Spatial Descriptors

그렇다면 이제 정말 마지막으로, LDL을 어떻게 더 발전 시킬 수 있을지에 대한 개인적인 소견을 나누고 발표를 마치겠습니다.

LDL이 전반적으로 다양한 scene에서 잘 동작하지만, 왼쪽 그림의 hallway같이 큰 scene들에서는 잘 동작하지 않습니다.

이를 해결하기 위하여 최근 대두되고 있는 neural field같은 기법들을 적용해 볼 수 있을 것 같은데요, 가령 오른쪽 그림에 보이시는 것처럼 각 위치에 대하여 주변의 line들의 geometry를 인풋으로 받아서 이것을 encoding하는 neural network을 설계해볼 수 있지 않을 까 싶습니다. 이후 constrastive한 loss 같은 것들을 활용해서, 왼쪽과 같은 large scale scene에서도 잘 동작하게 해볼 수 있을 것 같습니다.

14 of 14

Thanks for Listening!