야간에 온프레미스 AI 서버 랙과 모니터를 검토하는 보안 담당자 두 명

도입 전 검토 기준

AI 도입 전에 정할 거버넌스 기준

공공망 배포, 데이터 주권, 규제 대응은 도입 이후가 아니라 도입 전에 정리해야 할 항목입니다. 이 페이지는 한국 조직이 AI를 들일 때 확인해야 할 거버넌스와 보안 기준을 정리합니다.

배포 위치와 데이터 취급 조건이 맞지 않으면, 나머지 검토는 순서를 다시 잡아야 합니다.

그래서 이 페이지는 도입 검토를 여덟 항목으로 나눕니다. 각 항목은 도입 전에 결정해야 하는 질문과, 벤더에게 확인해야 하는 근거로 구성했습니다.

소버린 AI와 데이터 주권

세 가지가 맞지 않으면 이후 검토는 다시 돌아옵니다. 배포 관할, 학습 데이터 출처, 보존 정책입니다.

소버린 AI는 모델과 데이터가 어느 관할에 놓이는지를 다루는 개념입니다. 데이터가 국외로 나가지 않아야 하는 업무라면 배포 위치가 첫 번째 조건이 됩니다. 여기에 학습 데이터 출처와 보존 정책이 더해집니다.

데이터 주권에서 확인할 네 가지

  • 저장 위치 — 데이터가 물리적으로 어느 국가의 설비에 남는지
  • 처리 위치 — 추론이 어디에서 실행되는지, 국외 구간이 있는지
  • 학습 사용 여부 — 입력한 내용이 모델 개선에 쓰이는지
  • 보존 기간 — 로그와 입력이 언제 삭제되는지

국외 이전이 필요한 경우에는 별도 동의 절차가 요구될 수 있습니다. 이 조건은 벤더마다 차이가 크므로 문서로 받아 두는 편이 안전합니다.

한국 공공 데이터센터의 온프레미스 AI 서버 랙 복도

온프레미스와 공공망 배포

온프레미스는 자원을 직접 운영하는 대신 통제권을 확보하는 방식입니다. 공공망 배포는 외부 연결 없이 운영해야 하는 요건에서 필요합니다.

두 방식 모두 운영 인력과 업데이트 절차를 요구합니다. 초기에는 비용이 크지만 규제 요건이 강한 업무에서는 대안이 없습니다. 검토 시에는 모델 교체 경로까지 함께 확인해 두는 편이 좋습니다.

배포 방식별로 확인할 지점

온프레미스 운영
자원·패치·모니터링을 직접 맡습니다. 담당 인력과 업데이트 주기를 도입 계획에 넣어야 합니다.
공공망 내부 배포
외부 연결이 없어야 하는 업무에 필요합니다. 모델 반입과 업데이트를 어떻게 반영할지 미리 정합니다.
교체와 확장 경로
모델이 바뀌거나 사용량이 늘 때의 이전 절차를 계약 단계에서 확인합니다.

국내 인프라 조건을 더 자세히 보려면 인프라와 반도체 쪽 정리를 함께 읽어 두면 판단이 빨라집니다.

인프라 조건 살펴보기

접근 제어와 권한 설계

누가 어떤 모델에 접근하고 어떤 데이터를 넣을 수 있는지 정해야 합니다. 부서별 권한과 개인별 권한을 구분하면 사고 범위를 줄일 수 있습니다.

로그와 감사 대응

감사 대응을 위해서는 질의, 응답, 접근 기록이 남아야 합니다. 로그 보존 기간은 업종 규제에 따라 다릅니다.

로그 자체에 민감 정보가 남지 않도록 마스킹 정책도 필요합니다. 이 항목은 사후에 추가하기 어렵기 때문에 저장 형식과 보존 기간을 처음부터 정해 두는 편이 낫습니다.

관리자 권한은 최소 인원

전체 설정을 바꿀 수 있는 계정 수를 줄이고, 대신 승인 절차를 둡니다.

권한 변경 이력 남기기

누가 언제 권한을 받고 반납했는지 남겨야 감사 단계에서 설명이 됩니다.

감사 전에 확인할 것

보존 기간, 마스킹 범위, 열람 권한, 보관 매체를 문서로 정리해 두면 요청 시 바로 대응할 수 있습니다.

규제 요건을 검토하는 한국 기업 컴플라이언스 회의 장면

규제 동향을 읽는 방법

AI 관련 규제는 국가와 산업별로 다르게 적용됩니다. 금융, 의료, 공공은 각각 다른 요건을 가집니다.

자사가 속한 영역의 요건을 먼저 확인하고, 그 위에 공통 기준을 얹는 순서가 안전합니다. 규제는 바뀌므로 정기 점검 주기를 정해두세요.

업종 요건 먼저

해당 산업의 감독 기준을 먼저 확인하고, 그다음 공통 보안 기준을 얹습니다.

점검 주기 정하기

분기 또는 반기 단위로 요건 변경 여부를 확인하고 결과를 남깁니다.

모델 학습 데이터 사용 정책

입력 데이터가 모델 개선에 쓰이는지 여부는 반드시 확인해야 합니다. 계약서에 이 조항이 없으면 별도로 요청하세요.

옵트아웃이 가능한지, 기간은 얼마인지도 함께 봅니다.

벤더 평가 질문지

같은 질문지로 모든 후보를 평가하면 비교가 쉬워집니다. 답변은 문서로 받아 보관하세요. 구두 설명만으로는 감사 대응이 어렵습니다.

  1. 1배포 옵션 — 온프레미스, 공공망, 전용 환경 중 무엇이 가능한지
  2. 2데이터 위치 — 저장과 처리가 어느 관할에서 이뤄지는지
  3. 3학습 데이터 사용 — 입력이 모델 개선에 쓰이는지, 옵트아웃 조건은 무엇인지
  4. 4로그 정책 — 보존 기간과 마스킹 범위
  5. 5장애 대응 — 장애 시 통보 절차와 복구 기준
  6. 6모델 교체 경로 — 모델 변경이나 종료 시 이전 절차
야간에 AI 서비스 장애 대응 절차를 점검하는 IT 담당자들

사고 대응 계획은 문서로 두었을 때 실제 상황에서 판단이 빨라집니다.

사고 대응 계획

모델이 잘못된 결과를 냈을 때의 대응 절차를 미리 정하세요. 사용자 신고 경로, 정정 절차, 책임자를 명시합니다.

외부 서비스 장애 시 대체 경로도 준비해야 합니다. 대체 경로가 없으면 복구 시간이 예측되지 않습니다.

조직 내 역할 분담

보안, 법무, 현업, IT가 각각 무엇을 담당하는지 정해야 합니다. 한 부서에 모두 맡기면 검토가 느려지거나 누락됩니다. 정기 검토 회의를 운영 주기에 넣는 편이 지속 가능합니다.

보안 · IT

접근 권한, 로그, 배포 환경, 장애 대응 절차를 관리합니다.

법무 · 개인정보

데이터 이전 조건, 계약 조항, 학습 데이터 사용 여부를 검토합니다.

현업 부서

업무 데이터의 민감도와 결과 검수 기준을 정의합니다.

정기 검토 회의

분기마다 요건 변경, 권한, 로그 정책을 다시 확인합니다.

자주 나오는 질문

도입 검토 단계에서 반복해서 나오는 두 가지 질문을 정리했습니다.

공공기관은 생성형 AI를 어떻게 안전하게 도입하나요?

배포 위치, 접근 권한, 로그 보존, 감사 대응을 먼저 정하는 방식이 일반적입니다. 공공망과 온프레미스 요건을 초기 단계에서 확인하고, 모델 교체 가능성까지 함께 검토하는 편이 안전합니다.

데이터 주권은 어디까지 확인해야 하나요?

데이터가 저장되는 위치, 처리되는 위치, 학습에 사용되는지 여부, 보존 기간을 확인합니다. 국외 이전이 필요한 경우 별도 동의 절차가 요구될 수 있습니다.

이른 아침 텅 빈 데이터센터 복도의 원근감 있는 정경

다음 단계로 확인할 것

국산 LLM의 요건, 인프라 조건, 산업별 활용 사례를 각각 정리해 두었습니다. 자사 상황에 맞는 문서부터 확인하고, 판단이 필요한 항목은 문의로 남겨 주세요.

문의

검토 항목 정리가 필요하면 문의 페이지에서 남겨 주세요.

문의 남기기

이메일

[email protected]

운영 시간

월요일–금요일 09:00–18:00