세계적인 경영대학원 인시아드(INSEAD)가 오늘 세계 최대 규모의 백과사전 지식 포털인 보티피디아(Botipedia)를 출시했다고 발표했다.
백과사전은 1800년대의 인쇄본과 1990년대의 CD ROM, 그리고 오늘날의 온라인 이용자 참여형 위키피디아에 이르기까지 오랜 진화를 거쳐왔다. 그렇다면 다음 단계는 무엇일까?
보티피디아는 독자적인 AI 기술을 바탕으로 수백 개의 알고리즘을 활용해 수많은 사람이 위키피디아 문서를 작성하듯 이를 모방한다. 모든 항목은 DMG(Dynamic Multi-method Generation) 기술로 처리되며, 이는 방대한 양의 선별된 아카이브 및 위성 피드로 구성된 독점 데이터셋에 기반해 고품질의 검증 가능한 데이터를 제공한다. 보티피디아는 신뢰할 수 있는 출처에서 직접 인용하거나 환각 또는 편향을 피하도록 설계된 자연어 생성 기술을 사용해 독창적인 콘텐츠를 생성한다.
보티피디아에서는 어떤 주제, 사건, 언어, 지역 등 너무 희귀하거나 사소하다고 해서 다뤄지지 않는 경우가 없다. 위키피디아가 약 6400만 개의 영어 문서를 보유하고 있는 반면, 보티피디아는 100여 개 언어로 '4천억' 개가 넘는 문서를 생성한다.
보티피디아를 개발한 인시아드의 필 파커(Phil Parker) 경영과학 석좌교수는 "우리는 모든 사람이 동등하게 정보에 접근할 수 있도록, 어떤 언어도 소외되지 않는 보티피디아를 만들고 있다"며 "우리는 편향될 수 있는 단일 출처 대신, 출처가 명확하고 데이터에 기반한 콘텐츠를 통해 이용자가 가능한 한 많은 관점을 볼 수 있도록 하는 데 집중하고 있다"라고 말했다. 그는 생성형 AI 분야의 선구적인 특허 보유자이기도 하다.
보티피디아의 기술은 대규모 언어 모델(LLM)이나 그와 유사한 생성 방식에만 의존하지 않는다. 대신 각 출력 형태에 맞춘 맞춤형 생성 방식을 사용한다. 예를 들어, 날씨에 대한 텍스트나 표는 지리정보기반(geo-spatial) 방식으로 모든 경도와 위도에 대해 생성된다. 이러한 접근은 정보의 양을 비약적으로 늘리는 동시에 정확성도 높이는 장점이 있다.
보티피디아는 사용자가 특히 정보가 부족한 언어권에서 새로운 자료 또는 업데이트된 자료를 더 빠르게 찾을 수 있도록 지원한다. 예를 들어, 위키피디아에는 약 700만 개의 영어 문서가 있지만, 스와힐리어로는 4만 개에 불과하다. 이는 스와힐리어 사용자가 위키피디아 콘텐츠의 99% 이상에 접근하지 못하게 되므로 제한적일 수밖에 없다. 보티피디아의 DMG 기술은 또한 ChatGPT와 같은 GPU 집약적인 방법론에 비해 훨씬 적은 연산 능력으로도 작동하므로, 더 지속 가능하다는 부수적인 이점도 있다.
릴리 팡(Lily Fang) 인시아드의 연구•혁신 학장은 "보티피디아는 인시아드에서 설립 중인 HUMII(Human and Machine Intelligence Institute)의 많은 이니셔티브 중 하나"라며 "이는 인시아드 관련 IP를 기반으로 사람들이 기술의 힘을 빌려 더 나은 결정을 내릴 수 있도록 돕는 실용적인 애플리케이션이다. 우리는 지능의 시대에 인간의 주체성과 가치를 유지하면서, 일과 삶의 질과 의미를 향상시키는 기술을 원한다"라고 말했다.
보티피디아는 싱가포르에서 열린 인시아드 AI 포럼을 통해 처음으로 공개됐다. 현재는 초대 기반으로만 이용할 수 있고, 향후 전면 공개될 예정이다. 접속 요청은 해당 링크에서 가능하며, 데모 영상도 함께 시청할 수 있다.
