Security & Deployment
보안과 규제 준수는 기본값입니다.
Toaster는 고객의 인프라 안에 설치됩니다. 데이터가 밖으로 나가지 않는 구조를 먼저 정하고, 그 위에서 모델과 에이전트를 만듭니다.
01 · Security
설계 단계부터 넣어 둔 네 가지.
-
프라이빗 배포
온프레미스·망분리 환경에 설치합니다. 학습과 서빙, 평가까지 외부 API 호출 없이 고객 GPU에서 처리합니다.
-
권한 선검증
조직도 기반 권한을 가장 먼저 확인합니다. 열람할 수 없는 자료는 검색 대상에서 빠집니다.
-
입력 보안 체크
개인정보, 프롬프트 탈취, 가드레일, 수행 범위를 판단하고 위반 유형별로 응답을 대신합니다.
-
출시 전 보안 점검
인젝션·탈옥·시스템 프롬프트 유출을 측정합니다. 치명적인 공격이 한 건이라도 통하면 그 버전은 배포하지 않습니다.
운영 로그는 비식별 처리 후에만 쌓습니다. 감사 로그와 환류 승인 절차는 고객의 보안 정책에 맞춰 설정합니다.
02 · Before you start
도입 전에 함께 확인합니다.
설치 환경과 운영 조건을 먼저 맞춰 두면 PoC가 늦어지지 않습니다.
데이터와 모델 연결
쓸 수 있는 자료와 접근 권한, 사내 모델 API 또는 외부 모델 API의 사용 범위를 확인합니다. 외부 API를 쓰는 경우 밖으로 나가는 데이터의 범위도 함께 정합니다.
학습과 추론 자원
웹 애플리케이션과 모델 실행 자원을 나눠 설계합니다. 필요한 GPU와 메모리는 모델 크기, 학습 방식, 동시 작업 수에 따라 정합니다.
사내 인프라와 폐쇄망
온프레미스와 폐쇄망에 설치합니다. 폐쇄망에서는 모델 파일, 실행 이미지, 패키지 반입과 업데이트 절차를 미리 준비합니다.
운영과 접근 정책
사용자 역할, 데이터 보관, 백업과 복구 범위를 정합니다. SSO, 고가용성, 조직별 격리 같은 요구사항은 별도 설계 범위로 확인합니다.
03 · Integration
기존 업무 시스템과의 연결까지 봅니다.
문서 기반 지식 검색, 데이터베이스 질의, API를 쓰는 업무 자동화처럼 지금의 환경에 맞는 적용 방향을 함께 정합니다.
학습·평가 제품의 도입 범위, 업무 시스템 연동 범위, 운영 모델 서빙 범위는 목적에 따라 나눠 설계합니다.
기존 SI 파트너가 있다면 그 파트너가 Toaster 위에서 구축합니다. 벤더를 바꾸지 않아도 됩니다.
보안 요건부터 맞춰 보세요.
설치 환경과 보안 정책을 알려주시면 확인할 항목을 정리해 회신합니다.