DFMBA 20239011 강상훈
DFMBA 20239029 권기빈
DFMBA 20239195 신서윤
인공지능과 추천 시스템 기말 과제�- GPT를 활용한 가상화폐 투자 정보 요약 서비스
목차
GPT를 활용한 가상화폐 투자 정보 요약 서비스
GPT를 활용한 가상화폐 투자 정보 요약 서비스
배경 및 초기 가설
다양한 채널에 가상화폐 투자 정보가 산재되어 있어 투자자가 정확한 정보를 탐색하는데에 어려움
분류 | 내용 | ||
에어드랍에 관심 있는 40대 전업 투자자 | 1. 에어드랍을 위해 에어드랍이랑 유투브 채널을 주기적으로 모니터링함 2. 해외 재단이 보통 한국 채널을 통해서 에어드랍하는데, 이 때 선착순 참여하면 돈을 많이 받을 수 있어서 참여하는 중 3. 해외 재단이 한국을 우습게 보는 경우가 있어서 하다가 계정을 마음대로 삭제하다보니 돈을 못 받는 경우가 종종 있음. 그래서 최근에는 재단 임직원 정보를 살펴보는데 실시간으로 알려주는 채널이 고정되어 있지 않다보니까 여러 개 채널을 동시에 살펴보느라 조금 피곤함. | ||
가상화폐 투자에 관심 있는 30대 대기업 재직자 | 1. 비트코인이랑 이더리움 관련해서 정보 탐색을 위해 유투브와 텔레그램 알림방을 자주 보는 편. 근무 시간에 10번 이상 확인한다. 2. 보통 외국 채널들을 퍼오다보니까. 외국 채널들이 정보가 10분 이상 빠른 편. 그래서 가능하면 외국 채널들을 유심히 살펴보는데 시간이 없다. | ||
알트코인 투자에 관심 있는 20대 컴퓨터학과 대학생 | 1. 알트코인 유투버로 입문. 2천만원 신용 대출했는데 -90% 되서 너무 힘들었음 2. 차트 분석 해주는 채널들을 위주로 알림을 켜놓고 계속 살펴보고 있음. Slack API를 만들어서 알림만 올 수 있게 해놔서 요새는 좀 덜 신경 쓰는 편인데 예전에는 대출한 돈에 스트레스가 너무 많다보니까 밤 새서 했었음 | ||
Steemit(알트코인) 투자 커뮤니티를 운영하는 40대 전업투자자 | 1. 외국 전문 채널 8개, 재단 트위터, 유투브 4개, 텔레그램 7개 정도 주기적으로 모니터링하면서 계속 스팀잇에 글 올림. 2. 최근에는 스팀잇 가격이 많이 올라서 돈을 많이 벌고 있음. 월 3천 이상. 예전에는 500-1500정도. 글은 하루에 한 번 올림 3. 아무래도 필터링된 정보를 봐야하는데 텔레그램 같은 경우에는 친목, 잡담이 많아서 피곤할 때가 많다. | ||
코인 리딩방을 사용한 경험이 있는 40대 치과의사 | 1. 지인이 추천한 코인 리딩방을 통해 투자 시작했음. 확실하다고 해서 마통 3억원을 투자했는데 다 날려서 페이닥터하고 있음 2. 코인 리딩방. 신뢰성 있다면 다시 들어가고 싶긴 하다. 그 전에는 맥락을 모르니까 사기 당한 것 같은데, 정확하게 찝어주니까 편하고 전문가가 아니니까 정보도 모르고 제대로 알기에는 정보가 너무 산재되어 있음. 사이비 같은 채널들도 많아서 필터링 된 정보만 볼 수 있으면 사용 의향 있음 | ||
GPT를 활용한 가상화폐 투자 정보 요약 서비스
고객 인터뷰 인사이트
인터뷰 결과 가상화폐 투자자들은 각자의 시행착오를 통해 다양한 투자 채널을 모니터링하며 투자 정보 참고중
GPT를 활용한 가상화폐 투자 정보 요약 서비스
가설 설정
1. 가상화폐 투자자들은 여러 채널의 정보를 실시간으로 제공하는 서비스를 원할 것이다.
2. 가상화폐 투자자들은 정보의 신뢰성이 담보된다면 서비스를 사용할 것이다.
3. 가상화폐 투자자들은 투자 정보만 추출하여 요약되어 제공하는 서비스를 원할 것이다.
GPT를 활용하여 신뢰성 있는 여러 채널의 정보를 실시간으로 요약 제공하는 서비스 제공
GPT를 활용한 가상화폐 투자 정보 요약 서비스
1차 MVP 개발과정
GPT를 활용하여 신뢰성 있는 여러 채널의 정보를 실시간으로 요약 제공하는 서비스 제공
Raw Data
API
Client
Youtube Shorts
Telegram
프롬포트 엔지니어링�(ChatGPT API)
Telegram API
Youtube
Telegram
X(구 트위터)
Youtube Transcript API
X API
Steemit
GPT를 활용한 가상화폐 투자 정보 요약 서비스
1차 MVP 개발과정 - Raw Data 수집
MongoDB를 데이터베이스로 수집 서버 제작�Youtube 83개 채널, X 253개 채널, Telegram 413개 채널 데이터 수집
GPT를 활용한 가상화폐 투자 정보 요약 서비스
1차 MVP 개발과정 - Raw Data 수집
프로세스 매니저로 pm2를 활용하여 수집 Batch Job 서버 생성
채널별 Data Parsing을 통해 공통된 포맷으로 데이터 저장
GPT를 활용한 가상화폐 투자 정보 요약 서비스
1차 MVP 개발과정 - 클라이언트 서비스 개발
Batch Job을 통해 주어진 시간에 텔레그램 메세지가 생성되도록 개발
GPT를 활용한 가상화폐 투자 정보 요약 서비스
1차 MVP 개발과정 - 클라이언트 서비스 개발
저장된 데이터 중 시가총액 상위 5개에 해당하는 정보만 추출하여 Youtube 스크립트 생성 후 Video AI를 활용하여 Shorts 제작
GPT를 활용한 가상화폐 투자 정보 요약 서비스
1차 MVP 개발과정 - 클라이언트 서비스 개발
텔레그램과 동일한 추출된 요약값을 Steemit API를 활용하여 자동으로 글 생성
GPT를 활용한 가상화폐 투자 정보 요약 서비스
1차 MVP 사용자 피드백
텔레그램 채널을 통해 3명의 유선 인터뷰, 7명의 서면 인터뷰를 진행
고객 피드백에 따라 주제별로 텔레그램 채널을 세분화하고, 텔레그램으로 홍보 채널을 집중하기로 결정
GPT를 활용한 가상화폐 투자 정보 요약 서비스
2차 MVP 개발과정 - 세분화된 프롬프트 엔지니어링
채널마다 프롬프트 세분화하여 개발 진행하여 example Message 구체화
ChatGPT에서 제공하는 다양한 모델 중 "chatgpt-4o-mini"가 API 가격 대비 균일한 Response를 내는 것을 발견
GPT를 활용한 가상화폐 투자 정보 요약 서비스
2차 MVP 개발과정 - 세분화된 프롬포트 엔지니어링
GPT의 잘못된 응답에 대해 API 재호출 및 딕셔너리 개발을 통해 균일한 답변을 생성하도록 개발 진행
GPT를 활용한 가상화폐 투자 정보 요약 서비스
2차 MVP 개발과정 - 세분화된 프롬포트 엔지니어링
투자정보/차트분석/에어드랍별로 채널을 세분화하여 가상화폐 투자 정보 요약 서비스 제공
GPT를 활용한 가상화폐 투자 정보 요약 서비스
교수님 Comments
Q. '실시간' 에 대해서는 어떤 가정을 하고 있나요 ? 새로운 뉴스가 온 것을 알아채는 로직이 있는지 ? 그 시점 기준으로 얼마나 window 를 넓게 가져야 하는지..?
A. [데이터 수집] X(구 Tweet)의 경우 각 채널을 Follow한 계정의 Latest 피드를 While 문으로 무한 반복하면서 데이터를 지속적으로 저장. � Youtube, Telegram의 경우 각 채널의 구독해놓고 listener가 신규 메세지 발생 시 실시간으로 데이터를 저장.
[데이터 전송] 특정 주기로(현재는 한 시간) 저장된 X와 Telegram, Youtube 데이터를 호출하여 GPT에 원하는 포맷으로 요약하여 전송
[데이터 수집]
[데이터 전송]
GPT를 활용한 가상화폐 투자 정보 요약 서비스
교수님 Comments
Q. p4 의 서로 다른 유저의 니즈를 하나로 담는 건 과한 욕심이 아닐까요 ?
A. 1차 MVP 후 인터뷰를 통해 에어드랍, 차트 분석, 투자 정보를 요하는 페르소나가 분리됨에 대해서 이해함. 현재는 투자 정보방 115명, 차트 분석 17명, 에어드랍 9명으로�투자 정보방의 고객 페르소나를 세분화한 후에 더욱 구체화된 서비스로 업그레이드할 필요가 있다고 판단됌
1차 MVP
2차 MVP
3차 MVP
GPT를 활용한 가상화폐 투자 정보 요약 서비스
교수님 Comments
Q. 하나의 content 를 만들고 나면 그게 telegram 이나 Youtube shorts 등의 다양한 폼으로 표현된다고 하면, 거래량 top 5 는 어지간하면 안 바뀌는 거 아닌가요 ?
A. Top 5만 선별한 이유는 조사된 Youtube 중 80% 이상(총 구독자 및 조회수 기준)이 비트코인을 소비하는 층이 비트코인/이더리움/솔라나/리플 등의 Top 5 콘텐츠를 �소비했기 때문에 Youtube Shorts 콘텐츠는 Top 5만 선별하여 Shorts를 생성했었음. 다만, Youtube Shorts 관련하여 공수가 너무 많이 들어가는 편이여서 잠정 중단.�추후 자동화 방안을 구상할 수 있다면 자동화하는 형태로 개선가능해보임
GPT를 활용한 가상화폐 투자 정보 요약 서비스
교수님 Comments
Q. 생성된 content 가 얼마나 만족스러운가..? 를 정량적으로 풀 수 있어야 할텐데요... 몇몇 버그 처럼 보이는 것을 조절한다고 하지만 어디선가 복붙해 온 �another copied contents 로 읽히는 건 아닐까 ? 사용자 인터뷰 정도가 만족도를 알 수 있는 1차적인 방법이겠지만... 이후에 prompt 를 바꾸어 나갈 때 어떻게 track 할 수 있을까요 ?
A. 대표적인 버그는 두 가지로 "프롬프트에 제안한 Example message에 기재된 내용이 그대로 출력되는 경우"와 "유의미한 정보가 없을 때 가짜 정보를 제공하는 할루시네이션"� 세 가지 해결 수단 사용함. 첫째로는 전체 텍스트를 요약하는 것이 아닌 원본 링크와 요약본 제공. 그를 통해 잘못된 요약 가능성을 줄임. 두번째로 데이터가 잘못 나오는 Case 사례를 � 기반으로 딕셔너리를 만들어 재응답을 요청하는 형태로 보완 중이며 지속적으로 모니터링하여 딕셔너리를 보완하는 것을 우선 해결수단으로 판단.� 세번째로 할루시네이션 방지를 위해 "없는 정보라면 없다고 말해줘도 괜찮아" 등의 프롬프트 제안 추가�
Thank you