[논문 리뷰] (CHI '24) Debate Chatbots to Facilitate Critical Thinking on YouTube: Social Identity and Conversational Style Make A Difference

YouTube에서 비판적 사고를 촉진하는 토론 챗봇: 사회적 정체성과 대화 스타일이 차이를 만듦

Abstract

• 다양한 관점에 노출되는 것은 온라인 비디오 플랫폼의 필터 버블을 완화

  • cf) 필터 버블: 사용자가 인터넷 상에서 개인화된 알고리즘에 의해 제한된 정보만을 접하게 되는 현상

• 비디어 시청으로 인해 형성된 주제(topic)에 대한 입장(stance)를 비판적으로 검토하도록 하는 LLM

• 유저 페르소나에 따라 챗봇에 영향받는 정도가 다름

• 해당 논문에서는 페르소나 특징 중 - 사회적 정체성(social identity)과 대화 스타일(rhetorical styles)- 에 집중

• 실험 결과: 혼합 방법 연구(n=36)에서 외집단 outgroup(vs. ingroup) 정체성(t(33)=-2.33, p=0.03)과 persuasive(vs. eristic) 수사법 rhetoric(t(44)=1.98, p=0.05)을 갖춘 챗봇이 비판적 사고를 가장 효과적으로 유도하여 참여자가 주장을 다시 검토하게 함

  → 나와 다른 집단적 정체성과 설득적 대화 스타일을 가진 챗봇이 비판적 사고를 더 잘 유도

• 그러나 참여자들의 입장은 대체로 영향을 받지 않음

1. Introduction

• 유튜브의 긴-포맷 비디오의 특징
  • 아이디어를 심층적으로 표현하는 것이 가능
  • but 수동적인 콘텐츠 소비 유도
  • 플랫폼의 추천 시스템이 다양한 견해에 대한 노출을 제한함
  • 플랫폼 특성상 가짜뉴스를 포함한 잘못된 정보에 취약함
• 비판적 사고 능력(critical thinking)
  • objective analysis and evaluation of information to make
    a judgment.
  • 비판적 사고 능력으로 navigate through 위의 단점 3가지 해소 가능
    • 이를 기를 수 있는 대표적인 방법이 다른 관점을 가진 사람과 토론하기(특히 다른 문화권)
  • 다양한 의견을 내고 건설적인 토론에 참여할 수 있는 플랫폼 내 space space / 믿을만한 entity 필요
• 솔루션: LLM 기반 챗봇
  • 해당 논문에서는 추천 알고리즘이 사용자에게 제안한 비디오를 시청한 후, 팝업으로 나타나 사용자의 의견을 재확인하는 챗봇 인터페이스를 제
    안
  • 챗봇은 사용자와 비디오에 반대 입장을 취하고 사용자에게 주제에 대한 토론을 요청
  • 논리적으로 일관되고 설득력 있고 매력적인 대화를 통해 챗봇은 사용자에게 "그 순간"의 비판적 사고를 유도
• 챗봇 페르소나의 중요성
  • 챗봇의 목표는 유튜버의 영향력에 도전하는 것이므로 마찬가지로 매력적이어야 하며 사용자에게 유사한 영향을 미쳐야 함
  • 인간의 주장을 믿을 만하고, 영향력 있게 만드는 페르소나 요인[56, 110, 113] 중 사회적 정체성 social identities (내집단 ingroup vs. 외집단 outgroup) and 수사적(말) 스타일 rhetorical styles 설득적 (persuasive vs. 논쟁적 (eristic)에 집중
    • 사회적 정체성(social identity)은 의견을 제시하는 사람의 인식된 신뢰성에 영향력을 미침
    • 비판적 사고(critical thinking)에 가장 도움이 되는 방식으로 목표 설정
• Research Questions
  • RQ1. 챗봇 페르소나의 두 가지 핵심 속성(사회적 정체성, 수사 스타일)이 영상 시청자의 비판적 사고에 어떤 영향을 미칠까? → 챗봇 페르소나
  • RQ2. 영상을 시청한 후 주제에 대한 시청자의 입장이 챗봇과 상호작용하는 데 얼마나 영향을 받을까? → 시청자 입장
  • RQ3. 토론 챗봇은 시청자가 활동에 참여(engagement)하고 이를 실천(do the activity)하려는 동기(예: 영상을 시청하고 챗봇과 토론하는 것)에 어떤 영향을 미칠까? → 시청자 태도
• 연구 의의
  • 챗봇 페르소나 디자인의 중요성 강조
  • 사용자가 자신의 입장을 타협하는 데 있어 비효과적인 챗봇 행동 발견
  • 필터 버블 문제를 다루는 LLM 기반 앱 설계에 대한 함의 제공

2. Related Works

• 온라인 비디오 플랫폼에서 사회적 정체성의 중요성
  • 온라인에서에서 microcelebrity의 영향력에 영향을 미치는 요인
  • 사회적 정체성, 설득력, trustworthiness
    • 구성원들의 동의는 참조 정보적 영향(referent informational influence) 강화
    • 자기 검증(self-validation)의 느낌을 제공하고, 관점을 외부 현실 및 객관적 진리로 인식하게 만드는 효과를 가짐
    • 내집단 구성원은 외집단 구성원보다 더 높은 credibility와 trustworthiness를 가짐
    • cf) credibility는 정보 제공자/메시지의 신뢰성에 초점, trustworthiness는 정보 제공자의 의도에 초점
    • but 정 반대의 결과도 있으므로 집단 소속을 정의하는 특정 요인과 설득자의 권력(power) 또는 다수 상태(majority status)와 같은 다른 변수에 따라 달라질 수 있음
• 온라인 커뮤니티에서 비판적 사고력 강화
  • 비판적 사고에 대한 정의: 해석(interpretation), 분석(analysis), 평가(evaluation), 추론(inference), 설명(explanation), 자기조절(self-regulation)
  • 대화 교육에서 수사적 스타일의 중요성
    • 종류: 설득(persuasion), 조사/문의(inquiry), 발견(discovery), 협상(negotiation), 정보 탐색(information-seeking), 숙고(deliberation), 논쟁(eristic)
• 비판적 사고를 위한 HCI
  • 비판적 사고력을 향상시키기 위한 대화형 에이전트
  • 소셜 미디어에서 비판적 사고럴 향상시키기 위한 시스템

3. Method

• 연구 설계: 2x2 혼합 요인 설계(mixed factorial experiment)를 사용하여 사회적 정체성(내집단 vs. 외집단)과 수사적 스타일(설득형 vs. 논쟁형)의 효과를 평가
• 참여자: 북미 지역에서 모집된 36명의 참가자들이 실험에 참여했으며, 주제와 관련된 동영상을 시청한 후 챗봇과 대화를 나누었음
• 데이터 수집: 참가자들의 비판적 사고, 입장 변화, 참여 및 동기 수준, 그리고 챗봇에 대한 인식을 설문조사와 질적 피드백을 통해 측정

3.1 Condition

• 사회적 정체성: 내집단 요건 - 민족성, 성별 동일시

  → 챗봇 이름, 프로필 사진, 짧은 프로필에 반영

• 수사적 스타일

  • 설득형: 시청자 관점 이해 + 챗봇 입장의 이점 공유
  • 논쟁형: 사용자 공격 + 사용자 입장과의 차이점 드러냄

3.2 Experimental materials

• 실험에 사용되는 비디오의 요건
  • 4분 이내에 충분한 주장을 할 수 있을 만큼 간단함
  • 합의된 입장이 없음
  • 참가자들이 주제에 대해 극단적인 선입견을 가질 가능성이 낮음
• 비디오 주제
  • 온라인 모임은 대면 모임보다 낫다
  • 고객은 팁을 주어야 한다
• 비디오 스크립트 기준
  • 톤과 단어 선택은 YouTube에서 인기 있는 비디오 에세이와 스타일적으로 유사해야 함
  • 톤과 단어 선택은 비디오에서 YouTuber 역할을 할 연구자의 말투에 자연스럽게 느껴져야 함
  • 비디오의 입장을 뒷받침하는 주장과 증거는 논리적으로 타당하고 일관성이 있어야 함
  • 글의 구조와 주장의 수와 강점은 네 가지 스크립트 모두에서 일관되어야 함

3.3 Experimental setup and procedure

3.4 Implementation of the experimental system

• HTML과 JavaScript로 실험 시스템(그림 2)을 구현
• 챗봇은 OpenAI의 기본 제공 GPT4 모델로 구현
• 프로필 사진은 midjourney

3.5 평가 도구 및 측정: 자기보고형 척도

• 비판적 사고 자기 평가 척도 (CTSAS) 단축형 설문지 he Critical Thinking Selfassessment Scale (CTSAS
• Tanprasert 등의 논문[99]에서 비디오 기반 학습의 상황적
  참여를 측정하기 위한 설문지와 상황적 동기 부여 척도(SIMS) 설문 Situational Motivation Scale (SIMS)
• 인간-로봇 상호작용의 5가지 핵심 개념의 측정 도구[6]
  에서 차용되었습니다. 이 연구에서 우리는 호감도, 의인화, 인식된 지능,
  인식된 안전, 도움성

3.6 참가자

• Prolific을 통해 36명의 참가자를 모집하여 연구를 진행

3.7 데이터 분석

• 7점 리커트 척도
• 참가자의 입장 변화를 제외한 모든 변수를 분석하기 위해 선형 혼합 효과 모델(LMM)을 적용. 이 모델에는 모델에 포함된 다른 변수로는 설명할 수 없는 값의 변동을 나타내는 오차 항도 포함.

주요 결과

1. 비판적 사고 유도 효과
   • 사회적 정체성(Social Identity)과 수사적 스타일(Rhetorical Style)이 비판적 사고를 유도하는 데 유의미한 영향을 미침
   • 외집단 정체성(outgroup)과 설득형 수사 스타일(rhetorical style)을 결합한 챗봇이 가장 효과적으로 비판적 사고를 유도
     • 논쟁적 스타일(eristic style)은 사용자가 자신의 주장을 강화하도록 만들었으며, 설득적 스타일은 상대방의 논점을 평가하고 수용하는 데 집중하게 함
   • 비판적 사고의 하위 요소(해석, 분석, 자기 조절 등)에서 챗봇의 특성이 의미 있는 영향을 미침
2. 사회적 정체성
   • 사회적 정체성 이론에 따르면, 사람들은 자신이 속한 집단(내집단)과 그렇지 않은 집단(외집단)을 구분하여 사회적 정체성을 형성
   • 외집단 챗봇은 사용자가 자신의 가치와 가정에 대해 더 깊이 생각하고 비판적으로 생각하도록 함
   • 이는 필터 버블 문제를 해결하기 위한 설계에서 정체성과 수사적 스타일의 중요성을 강조
3. 입장 변화
   • 동영상 시청 후 참가자들의 기존 입장이 강화되는 경향이 있었으며, 챗봇과의 상호작용은 입장 변화에 거의 영향을 미치지 않음
   • 설득형 수사 스타일은 논쟁형 스타일보다 입장 변화에 더 큰 영향을 미침
4. 챗봇에 대한 인식
   • 챗봇의 설득력, 친근함, 지능 등에 대한 평가에서 논쟁적 챗봇보다 설득형 챗봇이 더 긍정적인 피드백을 받음
   • 몇몇 사람들은 챗봇이 논리적이지만 맥락적 이해가 부족하다고 느낌

논문 링크

https://dl.acm.org/doi/10.1145/3613904.3642513