엔드 유저의 경험을 측정하는 것은 애플리케이션 성능 개선의 핵심

미시건 주의 선도 관리형 의료 보험 서비스 및 파이낸싱 업체인 HAP(Health Alliance Plan)의 경우, 보다 신속하게 보험 청구를 처리 한다는 것은 HAP의 미시건 주 동남부 지역 내 약 57만 명의 보험 가입자에게 보다 신속하게 보험금을 지불할 수 있다는 것을 의미합니다. HAP의 정보 시스템 운영(ISO) 사업부는 컴퓨웨어의 ClientVantage를 사용함으로써 보험 청구 처리 애플리케이션의 처리 속도와 가용성을 보장할 수 있게 됐습니다.

HAP의 ISO 사업부 담당 이사인 윌리엄 올리버(William Oliver)는 350명의 HAP 보험 청구 처리 담당자에게 적시에 정확한 서비스를 제공하는 것이 무척 중요하다는 사실을 인식했습니다. 보험 청구 처리 담당자는 Windows 2000 데스크톱 상에서 실행되는 대형 의료 보험료 청구 애플리케이션인 Diamond에 액세스합니다. 올리버가 관장하고 있는 ISO 사업부는 헬프 데스크, 기술 및 네트워크 지원 전문가로 구성되어 있으며, 모든 중요한 비즈니스 애플리케이션을 비롯해 특히 Diamond 애플리케이션의 일간 실행 상태를 관리 및 유지 보수함으로써, 트랜잭션 및 응답 시간을 최소한으로 유지하는 책임을 담당하고 있습니다.

올리버의 ISO 사업부는 자사의 네트워크, 서버 및 데이터베이스에 대한 애플리케이션 가용성을 모니터링하는 서비스 레벨 계약 및 관리 툴을 이미 보유하고 있었습니다. 그러나 엔드 유저 응답 시간을 위한 서비스 레벨 계약은 아직 개발하지 못한 상태였습니다.

올리버는 “우리의 NOC(Network Operations Center)에서는 네트워크, 서버 및 데이터베이스 상태를 감독할 수 있는 능력을 갖추고 있었습니다. 그러나 가장 까다로운 부분은 최종 컴포넌트라고 할 수 있는 애플리케이션 성능이었습니다. 툴들을 이미 갖추고 있었으며 서버, 네트워크 및 데스크탑이 모두 제대로 운영되고 있었음에도 불구하고, 엔드 유저는 여전히 헬프 데스크에 전화를 해서 애플리케이션의 성능이 기대 수준에 미치지 못한다고 불평을 해왔습니다. 애플리케이션 성능의 최고 및 최저 상태를 정확하게 모니터링하고 기록할 수 있는 툴을 찾는 것이 가장 중요한 과제로 대두되었습니다.”고 설명했습니다.

사용자 관점에서 애플리케이션 성능을 신속하고 정확하게 모니터링할 수 있는 툴에 대한 필요성은 외곽 지역 사무실에 있는 사용자가 느린 성능에 대한 불평을 제기했을 때 절정에 달했습니다.

사용자가 애플리케이션을 사용할 때 한 화면에서 다른 화면으로 옮겨갈 때 사용자들이 느끼는 응답 시간이 더욱 느렸습니다. 그리고 도심 지역과 교외 지역 간의 로그온 시간에는 큰 차이가 있었습니다.

올리버가 처음으로 착수한 작업은 이 2개 지역에서의 애플리케이션 성능을 추적하고 비교할 수 있는 방법을 찾는 것이었습니다. ISO 사업부는 각 지역의 데스크탑 상에서 스크립트를 실행하기 위해 처음으로 경쟁사 솔루션을 구현했습니다. HAP의 애플리케이션 개발 팀의 수석 개발 컨설턴트인 스티브 테지크(Steve Tezyk)는 “보험 처리 담당자들은 여러 Diamond 화면을 거쳐야 합니다. 이와 같이 보험 처리 담당자가 정기적으로 수행하는 작업들을 스크립트에 재현했습니다. 여기에는 개인 및 기관 보험 청구를 처리하는 임무가 포함되었습니다.”고 설명했습니다.

엔드유저에게 성능에 대한 증거 제공

ISO 사업부가 다음으로 수행해야 할 단계는 원격지에 있는 보험 처리자에게 NOC 직원이 자체 애플리케이션 성능을 정확하게 모니터링할 수 있음을 직접 시연해 보는 것이었습니다.

올리버는 “원격지에 있는 개발자를 직접 데려와 응답 시간을 확인하고자 했을 때, 그는 우리가 원격지 사용자가 경험한 실제 시간을 기록했다는 사실을 믿지 못했습니다. 그는 우리가 어떻게 실시간으로 트랜잭션이 실행되는지를 시연해 보기를 원했습니다. 그러나 우리가 당시 갖고 있던 제품은 이를 입증해 보일 수가 없었습니다. 단지 특정 시간대의 “스냅샷’ 만을 보여줄 수 있었을 뿐이었습니다.”고 설명했습니다.

이러한 과제에 직면하자, ISO 사업부는 ClientVantage를 포함해 여러 다른 포괄적인 엔드 유저 경험과 관련된 제품들을 검토하기 시작했습니다. 올리브는 ISO 사업부의 최종 선택에 대한 이유를 설명했습니다. 그는 “우리가 ClientVantage를 선택한 이유는 우리가 직면한 가장 시급한 문제를 해결할 수 있었기 때문입니다. 즉 사용자가 실제로 경험하고 있는 애플리케이션 레벨을 정확히 파악할 수 있도록 했습니다. 뿐만 아니라, ClientVantage는 그 외에 우리가 직면한 수 많은 문제를 해결했습니다. 특히 실시간 리포팅 기능은 무엇보다도 필요한 기능이었습니다. 이를 통해 우리는 응답 시간 문제가 엔드 유저에 의해 보고되기 전에 우리가 먼저 파악할 수 있게 됐습니다.”고 설명했습니다.

즉각적인 실시간 성능 데이터 확보

ClientVantage는 클라이언트 레벨에서 애플리케이션 시간을 모니터링하기 때문에 여타 다른 성능 관리 제품의 성능보다 훨씬 뛰어났습니다. ClientVantage는 엔드 유저 관점에서 애플리케이션 트랜잭션 성능을 정확히 포착함으로써, 성능 문제가 Windows, 웹 또는 메인프레임 등 그 어디에서 발생했는지에 관계 없이 IT 직원들이 그 문제를 정확히 지적하고 리포팅할 수 있도록 지원합니다. 또한 ClientVantage는 전용 워크스테이션에서 액티브 스크립트 기반 모니터링을 수행하거나, 사용자의 워크스테이션에서 직접 패시브 모니터링을 수행하도록 하는 등 요구에 따라 손쉽게 구성할 수 있습니다.

테지크는 “우리는 처음에 ClientVantage의 경쟁사 제품을 검토한 후, 그 제품을 사용할 것을 고려하기도 했습니다. 그러나 우리 환경에 맞추기 위해서는 그 제품에서 제공하는 스크립트에 대한 대대적인 코딩 및 커스터마이징 작업을 수행해야 한다는 사실을 알게 됐습니다. 그럴 경우, 모든 것을 본 괘도에 올려놓기 위해서는 엄청난 시간이 들 수 있다는 판단을 하게 됐습니다.”고 밝혔습니다.

그는 “그 다음 우리는 ClientVantage를 검토했습니다. 이 제품을 이용하면 우리가 별 다른 추가 코딩 작업을 하지 않아도 성능 데이터를 즉각 확보할 수 있었습니다. 이제 우리는 엔드 유저가 Diamond 애플리케이션에 대해 경험하는 성능 상태를 정확하게 파악할 수 있게 됐습니다.”고 설명했습니다.

올리버는 “다른 제품의 경우 관리를 위해 너무나 많은 시간이 요구됐습니다. 제대로 그 기능을 활용하기 까지 또는, 직원들에게 이와 관련한 교육을 실시하는데 너무나 많은 시간을 투자해야 했습니다. 이와 달리, ClientVantage는 손쉽게 구현할 수 있을 뿐만 아니라, 사용이 쉽고 매우 직관적이었습니다. 우리는 단 하루 만에 ClientVantage를 설치하고 구현에 착수할 수 있었습니다. 그리고 별도의 특별 교육 없이 4시간 만에 스크립트 모니터링 작성 방법을 모두 습득할 수 있었습니다.”고 평가했습니다.

ISO 사업부는 ClientVantage를 설치해 2개의 전용 머신(각각 원격지 및 도심에 있는)에서 데이터를 수집했습니다. 테지크는 “이를 통해 우리가 받았던 문제 전화에 대해 “3가지 관점에서 분석”할 수 있게 됐습니다. 예를 들어, 원격지의 트랜잭션 시간이 최고 10초 또는 12초로 늦춰졌지만, 도심지에 있는 머신에서 들어오는 데이터의 트랜잭션 속도는 양호한 상태라고 가정해 봅시다. 만약 서버 운영 상태에 아무런 문제가 없을 경우, 2개 지역 간의 네트워크에 문제가 있다라는 사실을 알 수 있습니다. 2개 머신의 성능 상태가 모두 정상인 상태에서 사용자가 트랜잭션 시간이 지연된다고 전화를 할 경우에는, 사용자의 머신에 문제가 있다는 사실을 확신할 수 있습니다.”고 설명했습니다.

조만간, 올리버는 ClientVantage를 사용해 인터넷 및 e-메일 애플리케이션에 대한 성능을 모니터링하고 애플리케이션 문제에 대한 근본적인 원인 분석을 수행한다는 방침입니다. 궁극적으로는 엔드 유저와의 완벽한 세트의 서비스 레벨 계약을 체결하는 것을 목표로 하고 있습니다.

올리버는 이제 ClientVantage를 사용해 애플리케이션 성능을 매일 효과적으로 관리할 수 있게 됐으며 “만약 누군가 서비스 레벨 관리 툴의 도입을 고려하고 있다고 한다면, ClientVantage가 최상의 선택이라고 추천하겠습니다. ClientVantage는 기업의 모든 중요한 애플리케이션과 관련된 성능 문제를 모니터링하고 관리할 수 있는 최상의 솔루션입니다.”고 강조했습니다.