Data Engineering Team / Chief Technology Officer

안녕하세요. 저는 아이쉴드 개발팀에서 CTO로 일하고 있습니다. 저희 팀은 온라인상의 권리침해 게시물을 자동으로 찾아내고 대응하는 시스템을 만드는 역할을 해요.

수집된 데이터는 사내 시스템과 연동되어 PDF로 채증되거나 구글 시트에 정리되고, 슬랙이나 텔레그램으로 알림이 전송되는 등 전체 업무 프로세스에 활용됩니다.

주로 두 가지 큰 시스템을 담당하고 있는데요. 첫 번째는 키워드 기반 크롤링 시스템으로, 포털 및 커뮤니티 등 30여 개 플랫폼에서 특정 키워드가 포함된 게시물을 실시간으로 수집하는 시스템이에요.

두 번째는 자동 신고 시스템으로, 문제가 되는 게시물을 발견하면 해당 플랫폼에 자동으로 신고를 접수하는 시스템입니다.

가장 보람 있었던 순간은 제가 개발한 자동화 시스템이 실제로 피해자분들에게 도움이 되었다는 피드백을 받았을 때였어요.

특히 기억에 남는 건, 온라인 명예훼손으로 고통받고 계시던 고객분의 사건이었는데요. 기존에는 수동으로 하나하나 찾아서 신고하던 작업을 제가 만든 시스템이 24시간 자동으로 모니터링하면서 새로 올라오는 게시물들을 즉시 감지하고 대응할 수 있게 되었어요.

그 결과 피해 확산을 빠르게 차단할 수 있었고, 고객분이 정말 감사하다고 연락을 주셨을 때 큰 보람을 느꼈습니다.

기술적인 측면에서는 30여 개 플랫폼을 동시에 안정적으로 관리하는 시스템을 구축하면서 많이 성장했다고 생각해요. 각 플랫폼마다 구조가 다르고 수시로 변경되는 환경에서 오류를 자동으로 감지하고 복구하는 시스템을 만들어가면서 문제 해결 능력이 크게 향상되었습니다.

아이쉴드 분위기는 굉장히 자유롭고 개발자를 존중해주는 편이에요. 특히 기술적인 의사결정에서 개발자의 의견을 많이 들어주시고, 새로운 기술이나 접근 방식을 시도해볼 수 있는 환경을 만들어주십니다.

또한 동료들끼리 서로 도우려는 분위기가 강해요. 모르는 부분이 있으면 언제든 질문할 수 있고, 코드 리뷰를 통해서 서로의 실력을 끌어올리려는 문화가 잘 정착되어 있습니다. 각자 맡은 업무에 대한 책임감은 확실하지만 그 과정에서 충분한 자율성을 보장받고 있어서 창의적으로 문제를 해결할 수 있어요.

가장 만족스러운 부분은 '제가 만드는 기술이 실제로 사회 문제 해결에 직접적으로 기여한다는 점'이에요.

단순히 데이터를 수집하는 것을 넘어, 온라인 명예훼손이나 디지털 성범죄 같은 심각한 문제로 고통받는 분들을 돕는 도구를 만들고 있다는 생각에 큰 보람을 느껴요. 제가 작성한 코드 한 줄 한 줄이 누군가의 일상을 되찾아주는 데 도움이 된다고 생각하니 개발자로서 정말 의미 있는 일을 하고 있다는 확신이 들어요.

또한 기술적으로도 매우 흥미로운 도전들이 많아요. 실시간으로 대용량 데이터를 처리하고, 각기 다른 구조의 웹사이트들을 안정적으로 관리하면서, 동시에 윤리적 기준도 지켜야 하는 복합적인 요구사항들을 해결해나가는 과정에서 개발자로서 지속적으로 성장할 수 있어서 만족스럽습니다.

웹 크롤링은 기술적으로 가능하다고 해서 무엇이든 할 수 있는 건 아니라고 생각해요. 특히 저희처럼 권리침해 대응을 목적으로 하는 경우에는 더욱 신중하게 접근해야 합니다.

윤리적 측면에서는 먼저 각 플랫폼의 robots.txt를 자동으로 체크해서 수집 허용 여부를 확인하는 기능을 구현했어요. 또한 서버에 부담을 주지 않도록 플랫폼별로 적절한 수집 주기를 설정하고, 과도한 요청으로 인한 피해가 없도록 제한을 두고 있습니다.

자동 신고 시스템의 경우에는 각 플랫폼의 신고 정책을 정확히 파악해서 그 기준에 맞는 경우에만 신고가 접수되도록 했어요. 무분별한 신고가 아니라 정당한 권리 구제를 위한 목적에서만 작동하도록 엄격하게 관리하고 있습니다.

기술적으로는 시스템 안정성에 가장 중점을 두고 있어요. 30여 개 플랫폼이 언제든 구조를 바꿀 수 있기 때문에 오류 발생 시 즉시 감지하고, 어떤 부분을 수정해야 하는지 자동으로 식별할 수 있는 모니터링 시스템을 구축했습니다. 또한 중복 데이터 방지나 고객별 맞춤 기준 적용 등을 통해 정확하고 효율적인 서비스를 제공하려고 노력하고 있어요.

크롤링 시스템의 성과 측정은 크게 기술적 지표와 업무 효과성 지표로 나누어 접근하고 있습니다.

기술적으로는 시스템 안정성이 가장 중요해요. 30여 개 플랫폼의 데이터 수집 성공률, 오류 발생 빈도, 복구 소요 시간 등을 실시간으로 모니터링하고 있어요. 특히 중복 데이터 방지율이나 수집 정확도 같은 지표들을 통해 시스템 품질을 지속적으로 점검하고 있습니다.

업무 효과성 측면에서는 수집된 데이터가 실제 고객 서비스에 얼마나 도움이 되었는지를 추적해요. 예를 들어 자동 신고 시스템의 성공률이나, 크롤링으로 발견한 권리침해 게시물 중 실제로 삭제 처리된 비율 등을 분석합니다.

개선 방향으로는 코드 리뷰를 통한 지속적인 품질 향상과 함께, 새로운 플랫폼 추가나 기존 시스템 최적화에 집중하고 있어요. 특히 사용자 인터페이스나 API 응답 시간 개선을 통해 전체 업무 효율성을 높이는 것이 현재 주요 목표입니다.