과장 없이 설명하는 AI의 편향

AI를 둘러싼 주제 가운데 편향만큼 열기는 많고 명료함은 적은 것도 드뭅니다. 한쪽 진영은 이를 기술이 구제 불능이라는 증거로 여기고, 다른 진영은 공학으로 포장된 정치라며 손사래 칩니다. 둘 다 실제로 일어나는 일을 놓치고 있습니다. AI의 편향은 미스터리도 아니고 기계의 도덕적 결함도 아닙니다. 시스템이 데이터로부터 학습하는 방식에서 예측 가능하게 나오는 결과이며, 다른 어떤 공학적 문제와 마찬가지로 측정하고, 줄이고, 관리할 수 있습니다. 이 글은 편향을 두고 논쟁하기보다 그 현상을 이해하고 싶은 사람을 위해 쓴 차분한 버전입니다.

여기서 "편향"이 실제로 뜻하는 것

일상어에서 "편향"은 불공정이나 선입견을 뜻합니다. 기술 세계에서는 더 좁은 의미를 가집니다. 시스템이 예측하는 것과 실제 참인 것 사이의 체계적 차이, 또는 서로 다른 집단을 대하는 방식의 체계적 차이를 말합니다. 두 의미가 겹치기 때문에 대화가 자주 엉킵니다.

모델은 누가 해를 끼치려는 의도가 없어도 통계적 의미에서 편향될 수 있습니다. 즉, 한 방향으로 일관되게 빗나갈 수 있습니다. 그리고 모든 개별 단계가 합리적으로 보였더라도 모델이 어떤 집단에 불공정한 결과를 낼 수 있습니다. 이 두 의미를 구분해 두는 것이 명료하게 사고하는 첫걸음입니다. 누군가 "그 AI는 편향됐다"고 말하면, 유용한 후속 질문은 이것입니다. 어떻게 편향됐고, 누구에게 불리하며, 무엇으로 측정한 것인가?

편향은 어디에서 오는가

편향은 악당이 주입하는 것이 아닙니다. 그것은 평범한 메커니즘을 통해, 대부분 모델 자체보다 상류에서 스며듭니다.

• 데이터가 세상을 반영한다. 모델은 인간 활동의 기록으로부터 학습하며, 그 활동에는 이미 역사적 불균형이 담겨 있습니다. 과거의 결정으로 학습한 시스템은 그 결정 속 패턴을, 불공정한 것까지 포함해 재현하는 경향이 있습니다.
• 데이터가 불완전하다. 어떤 집단이 학습 데이터에 훨씬 드물게 나타나면, 모델은 그들에 대해 배울 것이 적어 성능이 떨어집니다. 그래서 시스템이 다수 사례에는 훌륭하게 작동하면서 가장자리에서는 형편없는 일이 생깁니다.
• 레이블에 판단이 담긴다. 학습 데이터의 상당 부분은 사람이 레이블을 붙이며, 그 레이블에는 무엇이 옳고, 관련 있고, 적절한지에 대한 인간의 선택이 새겨집니다.
• 목표가 좁다. 모델은 지시받은 것을 정확히 최적화합니다. 그 목표가 집단 간 공정성을 무시한다면, 모델도 효율적으로 그것을 무시할 것입니다.

이 가운데 어느 것도 악의를 필요로 하지 않습니다. 이것들은 의도적인 교정 없이 현실 세계의 데이터로부터 학습한 결과의 기본값입니다.

중립적인 기계라는 신화

흔한 직관 하나는 인간의 판단을 제거하면 시스템이 객관적이 된다는 것입니다. 진실은 정반대에 가까운 경우가 많습니다. 모델은 학습한 데이터를 압축한 것입니다. 그 데이터가 치우쳐 있다면, 모델은 그 치우침을 충실하게 자동 재현한 것이며, 이제는 그것이 대규모로 적용되고 중립이라는 옷을 입고 있을 뿐입니다.

곱씹어볼 만한 대목이 바로 이것입니다. 편향된 모델의 위험은 편향 그 자체만이 아니라, 기술적으로 보임으로써 빌려 오는 권위에 있습니다. 불공정한 결과가 적힌 스프레드시트는 검토를 부릅니다. 똑같은 결과가 알고리즘에서 나오면 수학처럼 느껴지고, 수학은 반박 너머에 있는 것처럼 느껴집니다. 모델의 출력을 자동으로 객관적이라 여기는 것이야말로 평범한 편향을 고착된 편향으로 바꾸는 실수입니다.

편향은 측정할 수 있다

고무적인 소식은 편향이 막연한 분위기가 아니라는 점입니다. 그것은 정량화할 수 있습니다. 연구자와 실무자는 집단 간 오류율, 정확도, 결과를 비교해 시스템이 집단마다 다르게 작동하는지 확인합니다. 공정성에 대한 형식적 정의가 여럿 있는데, 진정으로 중요한 함정이 하나 있습니다. 이 정의들은 서로 충돌할 수 있습니다. 한 척도에서 시스템을 평등하게 만들면 다른 척도에서 불균형해질 수 있고, 모든 정의를 한꺼번에 만족시킬 수 없는 경우도 있습니다.

그 절충(trade-off)은 허점이 아닙니다. 이 주제의 정직한 핵심입니다. 주어진 용도에 어떤 공정성 척도가 중요한지 고르는 것은 가치에 관한 판단이며, 수학의 도움을 받되 수학이 결정해 주지는 않습니다. 보편적인 정의가 하나 있는 척하는 것이 대화를 어긋나게 만드는 길입니다.

과대 약속 없이 편향 줄이기

오타를 고치듯 편향을 지울 수는 없지만, 의미 있게 관리할 수는 있습니다.

• 데이터를 개선하라. 더 폭넓고 더 대표성 있는 데이터에 더 나은 레이블을 붙이면 문제를 근원에서 다룰 수 있고, 그곳이 교정이 가장 오래가는 지점입니다.
• 집단별로 시험하라. 서로 다른 인구 집단에 대해 성능을 따로 측정하면, 막연한 걱정이 구체적이고 고칠 수 있는 발견으로 바뀝니다.
• 위험이 큰 결정에는 사람을 남겨두라. 사람에게 실질적 영향을 주는 결정에서는 모델의 출력이 인간 판단의 입력값이어야지, 최종 결론이어서는 안 됩니다.
• 기록하고 모니터링하라. 세상이 변하면 시스템은 표류합니다. 출시 때 작았던 편향이 커질 수 있습니다. 지속적인 측정은 초기 점검만큼이나 중요합니다.

현실적인 목표는 완벽히 편향 없는 시스템이 아니라, 그것은 존재하지 않으니, 편향이 알려져 있고, 한계가 정해져 있으며, 감시되는 시스템입니다.

맥락이 그 중요도를 결정하는 이유

같은 양의 편향이라도 시스템이 무엇을 하느냐에 따라 사소할 수도, 심각할 수도 있습니다. 노래를 추천하는 도구의 작은 치우침은 가벼운 짜증입니다. 같은 치우침이 고용, 대출, 주거, 건강에 닿는 시스템에 있다면 전혀 다른 범주의 문제입니다. 그 비용이 결정을 보지도 못하고 이의를 제기하지도 못하는 실제 사람들에게 떨어지기 때문입니다.

그래서 AI 편향에 대한 사려 깊은 논의는 모든 응용을 똑같이 취급하기보다 위험이 크고 중대한 용도에 초점을 둡니다. 알맞은 수준의 검토는 잘못되고 불공정한 출력이 끼칠 수 있는 해악에 비례해 커집니다. 이 시스템들이 법적 또는 재정적 결과를 낳는 결정에 관여하는 곳에서, 그 검토는 선택 사항이 아닙니다. 본 글은 일반 정보이며 법률 자문이 아닙니다.

정리

AI의 편향은 과장도 아니고 풀 수 없는 저주도 아닙니다. 그 자체가 고르지 않은 세상으로부터 학습한 결과이며, 자동화를 객관성으로 오인하는 우리의 경향이 그것을 증폭시킵니다. 일단 그렇게 보면 다룰 수 있게 됩니다. 어떤 종류의 편향을 말하는지 정의하고, 집단 간에 측정하고, 공정성 정의가 충돌할 수 있음을 받아들이고, 데이터와 절차의 차원에서 고칠 수 있는 것을 고치고, 사람들의 삶에 가장 큰 영향을 주는 결정에 가장 무거운 검토를 남겨두세요. 기계는 편견을 가진 것도 아니고 중립적인 것도 아닙니다. 기계는 거울입니다. 거울에 대한 유용한 반응은 그것이 비추는 것을 정직하게 들여다보는 일입니다.