1 of 13

AI Loss Prevention �Solution

on Self-Checkout

​

조용규, 홍지훈

2 of 13

Self-Checkout(무인 계산대, SCO) 도입과 문제점

  • Line busting (대기열 감소)
  • Operating cost reduction (인건비 등)
  • Contactless trend (COVID-19)
  • 도난에 대한 우려

스캔 안하고 그냥 가지고 가면 어떻게 해요?

​

  • 바코드 이슈

바코드 없는 상품은 어떻게 해요?

​

  • 성인인증 이슈

주류 구매할 때, 점원이 확인을 해야하는데 �어떻게 해요?

​

​

Why Self-Checkout

What is Self-Checkout

What are the problems of �Self-Checkout

  • 대형마트, 슈퍼 등에서 이용자가 스스로�Checkout을 할 수 있도록 지원하는 기기
  • ’19년부터 선진국을 중심으로 빠르게 성장

3 of 13

Self-Checkout 문제 해결방안 = AI-visioning!

도난방지

상품 도난방지

  1. 고객이 상품을 일부러 스캔하지 않는 행위
  2. 낮은 가격의 바코드를 대신 찍는 행위

​

🡪 Loss 비율 감소 (수익 증대)

도난방지

바코드 없는 상품인식

  1. 과일 등 바코드가 없는 상품을 검색 없이 선택
  2. 유력한 후보 몇 개를 제시

​

​

🡪 고객 편의성 증대

도난방지

성인인증

  1. 주류 등 나이 제한 상품을 구매 시 확인이 필요
  2. 확인 절차를 안면 인식 or 신분증 스캔으로 대체

​

🡪 인건비 절감

AI

Loss prevention*

AI

Fresh produce detection

AI

Age verification

* Nit: loss 라고 쓰지 않고, stolen 으로 써야 하지 않을까요 ?

4 of 13

1. Mis-Scanning (Non scan)

2. Barcode switching (product switching)

https://vimeo.com/739654795

https://vimeo.com/739652349

AI Loss Prevention Solution - 주요기능

5 of 13

AI Loss Prevention Solution– 도난 감지 방법

도난방지

Item based detection

  • 장점
  • 정확도가 높음
  • 예측하지 못한 상황에 대한 감지 가능

​

  • 단점
  • 상품에 대한 학습이 필요함
  • POS SW (예. 상품 DB)와 연동 개발이 필요함

​

도난방지

Action based detection

  • 장점
  • 상품에 대한 학습이 필요하지 않음
  • POS SW와 연동 개발이 필요하지 않음

​

  • 단점
  • 예측 가능한 행동에 대한 감지만 가능
  • 정확도가 낮음

​

6 of 13

AI Loss Prevention Solution - 상세

080010

080012

  1. 개인정보 보호를 위해 화면을 모자이크 처리
  2. 상품을 인식하고 정상적으로 Scan 구역을 지나 Stack 위치로 이동하는지 감지
  3. 추가적으로 행동 감지로 보정작업을 수행

Scan Zone

Stack Zone

7 of 13

AI Loss Prevention Solution– 고객 적용 Flow

도난방지

사전점검

  • SKU갯수, Network 상태, POS SW 종류 등

도난방지

POS SW 연동 개발

  • 고객 알람창 등을 위해 API에 맞춰 개발이 필요

도난방지

상품 사전학습

  • AI 알고리즘에 상품데이터 등록

도난방지

파인튜닝

  • 실 환경에서 CCTV의 화각, 밝기 등 세부조정

도난방지

실 가동

  • 고객 상대로 도난 방지 기능 ON

도난방지

데이터수집/튜닝

  • 동영상을 취득하여, 도난방지 결과값을 조정

도난방지

적용

  • 알람등의 기능을 끈 상태로 시범 가동

8 of 13

AI Loss Prevention Solution– 생각해볼 문제들

  1. Self-Checkout 장비는 복잡한 AI 연산을 할 정도로 고사양은 아니며, GPU는 달려 있지 않다.
  2. Cloud를 활용하기에는 Network 상태가 좋지 않다.
  3. 대형마트의 10만개 단위의 상품(SKU)를 학습하는데 비용이 많이 든다.
  4. 대형마트의 상품의 포장은 매우 자주 변경되며, 변경된 즉시 매장에 전시 되어야 한다.
  5. 도난이 오감지 되었을 경우, 고객은 매우 불쾌해하고 다시는 방문하지 않을 수 있다.

9 of 13

사전 Q&A (1/2)

Q1. ‘완전 무인' 보다는 1명의 체크하는 직원이 수 개의 기계를 쓰는 형태로 되어 있지 않나요 ? 

완전 무인은 한국에서 emart24 에서만 체크해 본 거 같은데요…

A1. 네 맞습니다. 대형마트의 Self-Checkout은 고객응대(조작 미숙, 성인인증 상품처리 등)가 필요하기 때문에 담당 점원이 상주하고 있습니다. (통상 1인당 4~6대) Self-Checkout은 리테일 혁신의 중간 단계로 간주되고 있고, �다음과 같이 발전할 것으로 예상하고 있습니다.

도난방지

Checkout

  • 점원이 POS를 통해 고객의 상품을 등록하고 결제 하는 일반적인 방법
  • 동네 슈퍼, 마트 등

도난방지

Self-Checkout

  • 점원의 개입없이 고객 스스로 상품을 등록하고 결제 하는 방법
  • 무인계산대, 스마트카트등
  • 대형마트, 아스크림할인점 등

도난방지

Checkoutless

  • 별도의 상품 등록 및 결제 과정없이 고객이 상품을 들고 나가면 자동으로 계산되는 방식
  • AmazonGo, 완전무인 매장 등
  • Checkout 기술 발전 방향
  • 도난방지 방안�- 점원에 의존
  • 도난방지 방안�- 점원에 의존, Security scale�- AI Loss Prevention Solution
  • 도난방지 방안�- AI checkout 솔루션

10 of 13

사전 Q&A (2/2)

Q2. 제가 본 몇몇 매장의 예는 아이템을 올려 놓게 함으로써 무게로 개수를 체크하는 게 있었더랬습니다.

A2. 말씀하신 대로 기본기능으로 상품의 무게를 체크하는 방법으로 상품의 누락을 체크하나, 저울의 가격이 비싸고 구매하지 않는 제품을 놓거나 하는 등의 상황에 따른 알람이 매우 많이 발생하여 불편한 사용자 경험으로 인하여 리테일러들이 기능을 OFF하는 추세 입니다.

​

Q3. Item based detection 과 Action based detection 둘 다 제안해 보는 건가요 ?

A2. 시중에서는 두가지 방법을 사용하는 솔루션들이 있습니다. 교수님이 Comment 주신대로 Action에 대해서는 현재 만족하는 수준이 되지 않아 Training Data를 많이 수집해야하기 때문에 현재는 Item을 기반으로 도난을 방지하고 이후 Data를 수집 및 분석하여 Action 기반을 함께 사용할 계획입니다.

�Q4. item based detection 의 경우 위에서 보는 사용자의 행동이 바코드에 찍힐 때 ‘정상' 행동들에 대해 사례를 모으는 것들로 시작해야 할 거 같습니다. SKU #### 에 해당하는 정상적인 scan 들에 대해 기억하고 있다가 그것에 어긋나는 행동이 나왔을 때 warning 을 보여 주는 형태여야 겠고

A4. 조언 감사드립니다. 아무래도 이쪽 분야가 AI에서는 비인기(?)라서 데이터도 많이 없고 사례도 적은 편입니다. 의견 참고해 좋은 솔루션 만들도록 하겠습니다.

11 of 13

교수님 Comment

False action을 잡아내는 경우 false 에 해당하는 사례들이 여럿 있어야 training 의 성과를 알 수 있습니다. 이 경우 ‘실패 사례’ 혹은 ‘도난 시도 행위' 등을 학습을 따로 synthetic 하게 준비해서 사례를 잡아야 할 거 같습니다. 예상되는 챌린지에 적혀 있듯이 실제 live 를 걸었을 때 false positive 의 경험이 많이 나쁘니, precision / recall 숫자가 만족스러워 지기까지 보조적인 형태로 오랫동안 사용되기를 기대합니다.

�사람 손을 거꾸로 인식해서 상품 하나씩 object recognition → SKU matching 등으로 가면 쉬운 시작이겠으나 제품이 여러 개 겹쳐 있거나 접혀 있거나 하는 등에서 챌린지가 예상이 됩니다.

�Scan / stack zone 을 거쳐 가지 않는 행동들에 대해서는 다른 방법이 필요하겠네요.

12 of 13

감사합니다.

Q & A

13 of 13

참고) 상품인식 AI 솔루션(NRF 2023: Retail’s Big show)

Toshiba AI SCO

NCR AI SCO