Home > Network > 아이폰 애플 CSAM 검열 방법과 걱정되는 이유

아이폰 애플 CSAM 검열 방법과 걱정되는 이유

얼마전 카카오톡 검열 광풍이 한번 휘몰아쳤죠(검열 테스트 결과 보기) 카톡 검열은 찻잔속의 태풍일뿐, 전세계 10억명(대략 – #) 아이폰 유저의 폰을 들여다볼 CSAM에 대해 알아보니 미래는 우리가 홀로 숨쉴곳이 없을 수 있겠구나.. 하는 생각이 듭니다.

작년부터 말이 나왔었는데 점점 구체화되어가고 있는 소식이 들려오다가 내려놨다는 말도 들렸다가.. 그만큼 비판과 저항도 큽니다.

저와 이 글을 보시는 분은 왜 CSAM이 신경이 쓰이는 걸까요? 우리의 폰안에 나쁜 사진이나 동영상이 있는 범죄자거나 그럴 계획이 있어서? 아닙니다. 이 기술에 대해 불쾌감을 느끼거나 우려의 목소리를 내는 것이 전세계적인 것을 보면 우리가 이상한 것은 아닌것 같습니다. 그 누구도 사생활 침해를 좋아할 사람은 없으니까요.

검열 자체가 기분나쁘다.

저는 맥북을 구매하고나서 앱도 상당히 많이 구매하고 즐겁게 사용하고 있습니다. 제가 작성한 맥 추천 앱 리스트만 봐도 꽤 진심으로 이뻐하고 있는 것을 알 수 있죠. – 맥 유저라면 필수로 써봐야할 추천 앱

하지만 저는 맥북에 개인 사진은 절대 저장하지 않을 것 입니다. 명분은 어린이 보호라고 내세우고 있지만 그 뒤로 어떤 목적이 있는지 알 수 없고, 사적인 영역에 마음대로 접근할 수 있다는 것 자체가 너무나 소름끼치기 때문입니다.

CSAM 긍정적인 부분은?

2021년 11월 9일 iOS 15.2 두번째 베타에 ‘어린이를 위한 Messages Communication Safety 기능’이 추가 되었습니다.(#)

이 기능은 저도 찬성입니다. 이는 부모가 설정해두면 어린이가 누군가로 부터 보내선 안될 사진을 받거나 혹은 보내려고 하면 이미지는 블러 처리된 뒤 사진을 받거나 보내지 않아도 된다는 경고 메세지와 함께 누군가에게 요청할 수 있도록 한다고 합니다.

이렇게 부모의 승인아래 어린 아이들을 보호할 수 있는 기능은 매우 반가운 소식입니다.

딱 여기까지는 좋습니다. 하지만 다 큰 어른의 폰에서 무슨 일이 일어나는지 애플이 아무리 잘나도 자기 손바닥 보듯 하는 것은 말이 안됩니다.

CSAM 시스템은 어떻게 작동하나

CSAM의 원리가 궁금해서 찾아봤습니다. 우선 iCloud 계정에 올라가있는 사진과 미 당국에서 제공하는 데이터베이스의 해쉬값과 매칭시키는 모양 입니다.

애플이 NCMEC(National Center for Missing and Apected Children *미 국립실종 및 착취아동센터)에 관련 정보를 제공할 수 있도록 알려진 CSAM 이미지 해시의 데이터베이스와 일치하는 이미지의 임계값 수를 초과하는 계정에 플래그를 지정합니다. 이 프로세스는 안전하고 사용자의 개인 정보를 보호하도록 특별히 설계되었습니다.

CSAM Detection Technical Summary August 2021

쉽게 비교하면 COPS(읽기)나 이번 카톡 검열 시스템이랑 모두 기본적 원리는 같습니다. 데이터베이스의 값과 매칭시켜서 문제가 되는 것을 찾겠다는거죠.

iSpy가 될까?

애플측에서도 ‘감시’, ‘감청’, ‘빅브라더’ 이런 이미지는 최대한 피하고싶은지 사람들이 반발할 부분에 대해서는 미리 ‘개.인.정.보.안.전.하.다’고 아래와 같이 공지했습니다.(2021년 9월 발표 내용)

  • Apple은 CSAM 데이터베이스와 일치하지 않는 이미지에 대해서는 아무것도 학습하지 않음.
  • iCloud Photos 계정에 대해 일치 임계값이 초과될 때까지 일치하는 CSAM 이미지의 메타데이터 또는 시각적 파생물에 액세스할 수 없음.(조건이 되면 액세스 가능이란거야 뭐야;)
  • CSAM 시스템이 사용자 계정에 플래그를 잘못 지정할 위험(생사람 잡을 확률)은 매우 낮음.
  • 정확성을 위해 NCMEC에 작성된 모든 보고서는 수동 검토

그렇다 치고, 신뢰할 수 있는 외부 감사는? 애플이 정말 사용자의 디바이스에서 정보를 수집하지 않는다는 것을 증명할 시스템은 있는가? 등 사용자 입장에서 불편한 질문을 던져보면 대부분 답이 없을 것 같습니다. 애플은 콧대가 높으니 적정선까지만 액션을 취해주겠죠. 애플이 유일하게 고개숙이는건 중국 뿐..

우리가 볼 수도 있고 안 볼 수도 있고..

어차피 그들의 시스템이나 소스코드 등이 공개되지도 않는데 우리가 뒤에서 어떻게 굴러가는지 알 수 있는 방법은 없습니다.

https://www.apple.com/child-safety/pdf/CSAM_Detection_Technical_Summary.pdf
  1. NCMEC 및 어린이 안전과 관련된 단체들이 제공하는 데이터를 기반으로한 CSAM Image HASH 데이터베이스(DB)가 있음
  2. DB를 읽을 수 없는 해시 집합으로 변환해 사용자 디바이스에 저장
  3. NeuralHash라고 불리는 기술이 호갱님의 이미지들을 특정 값으로 변환
  4. CSAM DB가 장치 내에서 일치하는 이미지를 탐색하며, iCloud Photos에 저장되기 전에 매칭 프로세스가 수행됨
  5. 해당 프로세스는 결과를 공개하지 않고 일치 여부를 결정하는 Private set intersection라는 암호화 기술에 의해 구동
  6. 장치내에서 일치하는 결과를 인코딩하는 암호화 안전 바우처를 생성
  7. 바우처는 이미지와 함께 iCloud 사진에 업로드
  8. Threshold secret sharing(임계값 비밀 공유?)라는 기술을 사용해 iCloud 포토 계정에 올라간 사진이 특정 임계값을 넘지 않는 한 애플에서 안전 바우처의 콘텐츠를 해석할 수 없음.
    • 그런데 반대로 값을 넘으면 애플이 콘텐츠 해석 가능하다는 뜻인데 늬들 기술 문제로 잘못 측정된다면, 혹은 기술적 오류인것처럼 해버리면? 국가 기관을 거치겠지만 미 정부가 애플의 관련 소스 코드를 다 검증하는 것도 아닐텐데..? 등등의 상상을 하게 됩니다.

NeuralHash란?

NeuralHash로 우리의 이미지를 해시값으로 바꾼다는데..

Hyperplane LSH (Locality Sensitivity Hashing) 디스크립터를 정수로 변환하고 어쩌고 저쩌고… 이미지를 실수 값 벡터 어쩌고… 블라블라..

그냥 이미지를 애플의 알고리즘을 통해 특정 값으로 바뀌는 겁니다. 많이 간단하게 예를 들면 ‘오징어게임 기훈이형’ = ‘456’ 이렇게; 그런데.. 우리가 이런거 알아서 뭐해요..

기술 설명 : 이래저래 하여튼 님의 이미지는 이거다 싶으면 우리 손으로 ㅋ

안전 바우처(Safety Voucher)는 위의 구조로 생성됩니다.

그림 무서워..

지난번에 발표했던 계획은 3가지였습니다.

  • 이미지 스캔
  • 메세지
  • 검색 내용 식별

첫번째 두번째는 위에서 설명드렸는데, 어떻게 보면 3번째가 더 소름입니다. 얘들이 아무리 암호화해서 전송하고 어쩌고해도 결국 핵심은 ‘실시간 체킹 그리고 애플로 전송’인데 우리가 하는 행동이 감시당한다는 것인데 검색 내용까지 들여다 볼 수 있다는 것을 상상만해도 구역질 납니다.

실제로 CSAM 키워드 API 제공하는 곳(#)도 있더군요. 구글은 구글 검색 및 유튜브 등에서 CSAM 관련 키워드는 검색하지 못하도록 막고있는데(#) 구글의 것은 자사 서비스에서 해당 키워드를 사용하지 못하도록 하는 패시브 기능이라 상관없지만, 애플의 의도는 일단 실시간으로 입력하는 것을 체킹하고 거기서 골라낸다는 것이라 차원이 다릅니다.

명분이야 ‘문제 되는 것만’이겠지만 사용자의 검색 행위를 은밀한 방법으로 자신들의 이익을 위해 사용하거나 이 ‘무서운 무기’의 손잡이를 미국 정부가 몰래 잡는다면?

https://www.apple.com/child-safety/

Siri, Spotlight, Safari 검색 시 CSAM 기준에 적용될만한 것을 검색할때 개입하도록 업데이트 되었음.

여기서 생각해볼 문제.

  • 앞서 언급했듯 부모의 결정하에 아동을 보호하기 위한 범위면 두손 두발 다 들고 환영이지만 누구나에게 적용된다면..?(특히 하드웨어적 차이가 아닌, 소프트웨어 설정으로 가능한 부분인데 내부의 CCTV가 나를 향하지 않는다는 보장은?)
  • 특정 상황에서 개입이 된다면 평소 모든 것을 실시간 필터링하고 있다는 뜻은 아닌가?
  • 사용자들의 모든 행동 패턴에 대한 데이터가 그들의 이익을 위해 쓰여진다면?

저의 고민이 과할 수 있지만, 바로 우리 옆나라 중국에서는 이미 현실이며, 무한경쟁시대 속에서 기업의 데이터에 대한 욕심은 사그라 들 수 없습니다. 그게 바로 수익이고 경쟁 우위를 점할 수 있는 무기거든요. 페이스북이 그렇게 욕을 먹으면서도 계속 그 욕먹을 짓을 멈추지 못하는 이유 입니다.

현실판 빅브라더가 이런식으로 시작되나 싶어 우려가 됩니다. SNS, 특정 프로그램 등 안쓰면 그만이지만 현대인에게 스마트폰 없는 삶이란 상상할 수 없고 아이폰을 쓰지 않을 수 없는 사람이 전세계게 수억명일텐데..

아 그래서 뭐? – 결론

  • 우리가 기술적인 부분을 어느정도 이해한다고 해도, 어차피 핵심과 이면적인 부분은 외부인이 알 수 없는 것이고.. 알려진 것으로만 봤을때 결론은 우리의 사생활은 (눈 감은척 하는)애플의 손바닥안에 있거나 언제든 그렇게 될 수 있는 시스템은 갖추어져 있다.
  • 아주 간단한 예를 들면 ‘검열 기술+잘못된 정치적 목적=We Chat 및 중국의 AI 기반 감시 시스템‘ 이것만 보더라도 ‘기술’이라는게 언제든 누구든 겨눌 수 있는 칼과 감옥이 될 수 있다는 것.
    • 나만의 지나친 착각과 우려일까? No. 전세계 많은 단체와 개인들이 걱정하는데는 이유가 있음.
      • 내부 직원(#), 애드워드 스노든(#), EFF(#) 언론(#) 보안 전문가(#) 등등 전세계의 수 많은 사람들..
      • 전 세계의 80개 이상의 민간단체들이 입을 모아 공개 서한(#) 보내기도 했는데, 핵심적인 부분을 요약하면 아래와 같습니다.
        • CSAM은 아동 학대 확산을 줄이기 위한 것이나, 이 백도어 기능이 내장되면 전 세계 사람들의 사생활과 보안을 위협하는데 사용되어 재앙적인 결과를 초래할 수 있다.
        • CSAM 뿐 아니라 전 세계 각 정부가 불쾌하다고 판단되는 이미지도 스캔해야한다는 압력 및 법적 요구사항에도 직면하게 될 것(*응 China)
  • 그렇지 않아도 중국 시진핑 엉아의 말이라면 무릎 꿇고 경청하는 애플이 뜨끈한 백도어를 진핑이형 드나들수 있도록 레드카펫 깔아줄 가능성은 없을까? 하는 생각도 듭니다.
    • 실제로 애플은 중국이 싫어하는 행동은 절대 하지 않고 있으며..
    • 중국에서 검열 중인 단어가 대만에서도 검열되는 것을 발견하기도(#1 #2)
    • 지금까지 애플이 그간 중국의 따뜻한 ㅈㄲㅈ를 맛보고 입을 못 떼고 있으니 합리적 의심을 해볼만도 합니다.
  • 애플만 문제인가?
    • 마이크로소프트, 페이스북, 구글 등도 기술을 가지고 있습니다. 실제 Gmail, Google Drive 에서도 작동하고 있습니다. – 구글 드라이브 관련 뉴스(#)
    • 특히 구글 포토 실시간 검열 후 한 아이의 아버지가 큰 불이익을 얻기도 했습니다.(관련글)
    • 하지만 애플의 CSAM이 가장 민감하고 논란이 되는 것은 클라우드, 웹하드, 이메일 등은 얼마든 쉽게 대체 가능하기 때문에 안쓰면 그만이지만, 아이폰은 그게 아니기 때문이죠.

그래서 결론은 난 싫다~ 라는거.. 아래 글도 재미로 읽어보세요.

다른 사람이 본 글

(4) Comments

  1. 신기하다

    아이폰 골수 유저인데 너무 재미있게 읽고갑니다 아이폰도 감청 검열이 될까? 궁금한 마음에 검색하다 들어왔는데 제일 상세하게 설명해주신거같아요

    1. NetxHack

      칭찬 감사합니다. 나름 열심히 썼는데 힘이 납니다.

  2. 고랭

    지금까지 CSAM 관련 글 본거중에 제일 호기심해결이 많이됐어요 나무위키도 내용이 별로없던데. 감사용

    1. NetxHack

      부족한게 많습니다. ㅎㅎ 칭찬 감사합니다.

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다