처음에는 개인 문서와 반복 업무를 AI 도구에 연결하면 꽤 똑똑한 비서처럼 쓸 수 있을 거라고 생각했습니다. 매번 쓰는 보고서 문장, 블로그 초안, 회의 정리, 파일명 규칙, 체크리스트를 한곳에 모아두고 질문하면 바로 답이 나올 줄 알았습니다. 하지만 2026년 3월 1일부터 31일까지 30일 동안 직접 시도해보니, AI 비서를 만드는 일은 도구를 연결하는 것보다 어떤 문서를 믿고 어떤 문서를 제외할지 정하는 과정이 훨씬 중요했습니다.
사용 환경은 Windows 11, 브라우저 기반 AI 도구, 로컬 문서 폴더, 클라우드 메모였습니다. 이 기간 동안 정리한 문서 수는 214개였고, 테스트한 프롬프트 수는 86개였습니다. 처음에는 많이 넣을수록 답변이 좋아질 거라고 생각했지만, 실제로는 오래된 문서와 중복 메모가 섞이면서 엉뚱한 답변이 나오기 시작했습니다.
처음에는 문서를 많이 넣는 것이 핵심이라고 생각했다
초반에는 로컬 문서 폴더와 클라우드 메모에 흩어진 자료를 최대한 많이 모았습니다. 업무 메모, 블로그 글감, 자주 쓰는 이메일 문장, 회의 요약, 소프트웨어 설정 기록, 체크리스트까지 모두 AI가 참고할 수 있는 자료처럼 정리했습니다.
문제는 문서의 최신성과 신뢰도를 구분하지 않았다는 점입니다. 같은 주제의 문서가 여러 개 있었고, 2025년에 만든 초안과 2026년에 수정한 최종본이 함께 섞였습니다. AI에게 “최근 기준으로 정리해줘”라고 요청했는데, 오래된 문서 내용을 기준으로 답을 만든 적도 있었습니다. 이때 가장 크게 느낀 점은 AI가 문서를 읽는 것보다, 제가 먼저 문서를 정리해야 한다는 것이었습니다.
가장 큰 실패: 오래된 문서 기준으로 엉뚱한 답변이 나왔다
가장 큰 실패 사례는 문서 정리가 안 된 상태에서 AI에게 반복 업무 기준을 물어본 일이었습니다. 예를 들어 어떤 문서에는 예전 파일명 규칙이 있었고, 다른 문서에는 새로 바꾼 규칙이 있었습니다. 저는 최신 기준을 기대했지만, AI는 오래된 문서의 표현을 섞어 답변했습니다.
그 결과 실제 작업에 쓰기 애매한 답변이 나왔습니다. 문장 자체는 자연스러웠지만 기준이 틀렸습니다. 처음에는 AI가 제대로 이해하지 못했다고 생각했지만, 원인은 제가 제공한 문서에 있었습니다. 문서 214개 중 어떤 것이 최신인지, 어떤 것이 폐기된 기준인지 표시하지 않았기 때문입니다.
프롬프트 86개 중 최종 저장한 것은 19개뿐이었다
처음 테스트한 프롬프트 수는 86개였습니다. 이메일 작성용, 블로그 초안용, 회의록 요약용, 파일명 정리용, 일정 점검용, 아이디어 분류용, 문서 비교용 등 생각나는 대로 만들었습니다. 하지만 실제로 써보니 너무 긴 프롬프트는 오히려 불편했습니다.
실패해서 삭제한 프롬프트 수는 41개였습니다. 대부분 조건이 너무 많거나, 매번 수정해야 하는 항목이 많았습니다. 프롬프트가 길면 정확도가 올라갈 줄 알았지만, 실제로는 실행 전에 고쳐야 할 부분이 많아 시간이 더 걸렸습니다.
최종 저장한 프롬프트 템플릿 수는 19개였습니다. 자주 쓰는 5~6줄짜리 짧은 템플릿이 오래 남았습니다. 예를 들어 “문서를 3문단으로 요약”, “체크리스트로 변환”, “중복 내용 제거”, “톤만 자연스럽게 수정”처럼 목적이 명확한 프롬프트가 실사용에 더 좋았습니다.
AI 비서 구축 전후 비교표
| 항목 | 처음 방식 | 개선 후 방식 | 실패 원인 | 개선 기준 | 실제 효과 |
|---|---|---|---|---|---|
| 문서 관리 | 문서 214개를 한 폴더에 모음 | 최신본, 참고용, 제외 문서로 등급 분리 | 오래된 문서와 최신 문서가 섞임 | 문서 등급과 작성일을 파일명에 표시 | 엉뚱한 답변이 줄었음 |
| 프롬프트 | 86개를 상황별로 길게 작성 | 19개 템플릿만 저장 | 프롬프트 수정 시간이 너무 길어짐 | 목적별 짧은 템플릿으로 축소 | 재작성 횟수가 평균 3.8회에서 1.6회로 감소 |
| 개인정보 | 문서 정리 전 일부 민감 정보가 섞임 | 개인정보 제외 폴더 생성 | 실제 계정 정보나 고객 정보가 포함될 위험 | 민감 문서 37개 제외 | 개인정보 노출 부담 감소 |
| 반복 작업 | 시나리오 12개를 모두 자동화하려 함 | 실제로 유지한 시나리오 5개만 남김 | 자주 쓰지 않는 작업까지 포함 | 주 2회 이상 쓰는 작업만 유지 | 관리 부담이 줄었음 |
| 문서 검색 | 필요한 문서 찾는 데 평균 5분 10초 | 폴더와 파일명 규칙 정리 후 평균 1분 25초 | 중복 문서와 애매한 제목 | 날짜, 주제, 상태를 파일명에 포함 | 검색 시간이 크게 감소 |
개인정보가 포함된 문서 37개는 제외했다
AI 비서처럼 쓰려면 문서를 많이 연결해야 할 것 같았지만, 실제로는 제외해야 할 문서가 먼저 보였습니다. 개인정보가 포함되어 제외한 문서 수는 37개였습니다. 실제 계정 정보, 고객 정보, 결제 관련 메모, 내부 주소, 개인 연락처가 들어간 자료는 연결 대상에서 뺐습니다.
민감한 문서는 별도 폴더로 분리했습니다. 폴더명도 단순하게 private_excluded처럼 정했습니다. 이 폴더의 문서는 AI 도구에 붙여넣지 않았고, 요약이 필요할 때도 민감 정보를 제거한 예시 문서만 사용했습니다.
예를 들어 실제 고객명 대신 “고객A”, 실제 이메일 대신 “user@example.com”, 실제 계정명 대신 “테스트 계정”처럼 바꿨습니다. AI 도구를 편하게 쓰려면 먼저 어디까지 넣지 않을 것인지 기준을 정해야 했습니다.
반복 작업 시나리오 12개 중 5개만 남겼다
처음 만든 반복 작업 시나리오는 12개였습니다. 회의록 요약, 블로그 초안 작성, 문서 제목 정리, 이메일 답장 초안, 파일명 규칙 변환, 주간 업무 정리, 체크리스트 생성, 아이디어 분류, 문서 비교, 오류 로그 요약, 일정 정리, 독서 메모 변환까지 포함했습니다.
하지만 실제로 유지한 시나리오는 5개뿐이었습니다. 나머지는 자주 쓰지 않거나, 직접 하는 것이 더 빨랐습니다. 특히 일정 정리나 짧은 메모 변환은 AI에게 맡기는 과정이 오히려 번거로웠습니다.
끝까지 남은 시나리오는 회의록 요약, 블로그 초안 정리, 문서 제목 규칙화, 체크리스트 변환, 오류 로그 요약이었습니다. 공통점은 반복성이 높고, 결과물을 다시 검수하기 쉬운 작업이었습니다.
답변 재작성 횟수가 3.8회에서 1.6회로 줄었다
초기에는 AI 답변을 거의 매번 다시 고쳤습니다. 1건당 평균 재작성 횟수는 3.8회였습니다. 답변이 길거나, 문서 기준이 섞이거나, 말투가 맞지 않는 경우가 많았습니다.
개선 후에는 1건당 평균 재작성 횟수가 1.6회로 줄었습니다. 가장 효과가 컸던 것은 프롬프트를 짧게 줄이고, 문서 등급을 분리한 것입니다. “최신 문서만 기준으로 답변”, “참고 문서는 문장 표현에만 활용”, “제외 문서는 사용하지 않음”처럼 기준을 명확히 적었습니다.
또 결과 검수 체크리스트를 만들었습니다. 답변을 받은 뒤 날짜가 맞는지, 오래된 기준이 섞이지 않았는지, 개인정보가 들어가지 않았는지, 실제 실행 가능한 내용인지 확인했습니다.
문서 찾는 시간이 5분 10초에서 1분 25초로 줄었다
AI 비서를 만들려고 시작했지만, 가장 큰 효과는 문서 정리에서 나왔습니다. 처음에는 필요한 문서를 찾는 데 평균 5분 10초가 걸렸습니다. 파일명이 “정리본”, “최종”, “최종2”, “새 버전”처럼 애매했기 때문입니다.
이후 파일명에 날짜, 주제, 상태를 넣었습니다.
2026-03-블로그_프롬프트템플릿_active.md
2026-03-회의록요약_예시_reference.md
2026-03-고객정보_샘플_excluded.md
2026-03-파일명규칙_active.md이렇게 정리하니 문서 찾는 시간이 평균 1분 25초로 줄었습니다. AI에게 묻기 전에 제가 필요한 문서를 더 빨리 찾게 된 것입니다. 결국 AI 비서 구축의 절반은 문서 검색 체계를 만드는 일이었습니다.
프롬프트는 길수록 좋은 것이 아니었다
처음에는 프롬프트에 모든 조건을 넣었습니다. 역할, 문체, 금지 표현, 출력 형식, 참고 문서, 예시, 예외 조건까지 넣다 보니 한 프롬프트가 너무 길어졌습니다. 문제는 매번 상황에 맞게 수정해야 한다는 점이었습니다.
너무 긴 프롬프트를 만들어 매번 수정 시간이 더 오래 걸렸던 경험이 반복됐습니다. AI에게 일을 줄이려고 만든 프롬프트가 오히려 제 일을 늘렸습니다.
이후에는 프롬프트를 목적별로 나눴습니다. 요약용, 비교용, 체크리스트용, 초안 정리용, 오류 분석용처럼 분리했습니다. 템플릿 하나에 모든 기능을 넣지 않았습니다. 짧고 자주 쓰는 템플릿이 오래 남았습니다.
문서 등급을 나누니 답변 기준이 안정됐다
문서 등급은 세 가지로 나눴습니다. 첫째, active 문서입니다. 현재 기준으로 믿고 사용할 수 있는 문서입니다. 둘째, reference 문서입니다. 참고는 가능하지만 최신 기준은 아닌 문서입니다. 셋째, excluded 문서입니다. 개인정보가 있거나, 오래되어 답변 기준으로 쓰면 안 되는 문서입니다.
이렇게 나누니 AI에게 요청할 때도 기준이 명확해졌습니다. “active 문서를 기준으로 답변하고, reference 문서는 표현 참고용으로만 사용해줘”처럼 요청할 수 있었습니다. excluded 문서는 아예 입력하지 않았습니다.
문서 등급을 나누기 전에는 AI 답변이 자연스러워도 믿기 어려웠습니다. 개선 후에는 적어도 어떤 문서를 기준으로 답했는지 확인하기 쉬워졌습니다.
비교 기준별 실제 체감
답변 정확도
문서 등급을 나누기 전에는 오래된 문서 기준의 답변이 나왔습니다. active 문서만 기준으로 삼은 뒤 답변 정확도가 체감상 좋아졌습니다.
재작성 횟수
초기에는 답변 1건당 평균 3.8회 다시 고쳤지만, 개선 후에는 1.6회로 줄었습니다. 프롬프트를 줄이고 목적별로 나눈 것이 효과적이었습니다.
개인정보 노출 위험
개인정보가 포함된 문서 37개를 제외했습니다. 실제 계정 정보나 고객 정보는 절대 입력하지 않는 기준을 만들었습니다.
문서 검색 시간
문서 찾는 시간이 평균 5분 10초에서 1분 25초로 줄었습니다. AI 도구보다 먼저 문서명과 폴더 구조를 바꾼 효과가 컸습니다.
유지 가능성
반복 작업 시나리오 12개 중 실제로 유지한 것은 5개였습니다. 너무 많은 자동화보다 자주 쓰는 작업만 남기는 것이 오래갔습니다.
결론: AI 비서는 도구 연결보다 문서 기준 정리가 먼저였다
2026년 3월 1일부터 31일까지 나만의 AI 비서를 만들려고 시도해본 결론은 분명합니다. AI 비서는 도구를 연결하는 것보다 어떤 문서를 믿고 어떤 문서를 제외할지 정하는 것이 먼저였습니다.
30일 동안 정리한 문서는 214개였고, 테스트한 프롬프트는 86개였습니다. 하지만 최종 저장한 프롬프트 템플릿은 19개뿐이었고, 실패해서 삭제한 프롬프트는 41개였습니다. 개인정보가 포함되어 제외한 문서는 37개였습니다. 반복 작업 시나리오는 12개를 만들었지만 실제로 유지한 것은 5개였습니다.
처음에는 AI 도구가 알아서 문서를 잘 이해하고, 반복 업무를 줄여줄 것이라고 기대했습니다. 하지만 문서가 정리되지 않은 상태에서는 오래된 기준으로 엉뚱한 답을 만들었습니다. 너무 긴 프롬프트는 매번 수정 시간이 더 오래 걸렸습니다.
개선 후에는 문서 등급 분리, 개인정보 제외 폴더 생성, 프롬프트 목적별 분류, 결과 검수 체크리스트를 적용했습니다. 그 결과 답변 재작성 횟수는 평균 3.8회에서 1.6회로 줄었고, 문서 찾는 시간은 평균 5분 10초에서 1분 25초로 줄었습니다.
AI 비서는 마법처럼 모든 일을 대신하는 도구가 아니었습니다. 오히려 제가 가진 문서와 기준이 엉망이면 그 혼란을 더 빠르게 확대할 수도 있었습니다. 제게 가장 현실적인 AI 비서는 모든 문서를 연결한 거대한 시스템이 아니라, 믿을 수 있는 문서만 골라 안전하게 활용하는 작은 작업 도구였습니다.
개인 AI 비서를 만들기 전 반드시 정리해야 할 체크리스트
- AI가 참고해도 되는 문서와 제외해야 할 문서를 구분했는가?
- 개인정보가 포함된 문서를 별도 제외 폴더로 옮겼는가?
- 실제 계정 정보, 실제 고객 정보, 실제 연락처를 입력하지 않는 기준이 있는가?
- 문서를 active, reference, excluded처럼 등급별로 나눴는가?
- 오래된 문서와 최신 문서를 파일명으로 구분할 수 있는가?
- 프롬프트를 하나에 몰아넣지 않고 목적별로 나눴는가?
- 너무 긴 프롬프트 때문에 수정 시간이 더 늘어나고 있지 않은가?
- 최종 저장할 프롬프트 템플릿을 실제로 자주 쓰는 것만 남겼는가?
- AI 답변을 그대로 쓰지 않고 검수 체크리스트로 확인하는가?
- 날짜, 기준, 문서 출처가 맞는지 확인하는가?
- 반복 작업 시나리오가 실제로 주 2회 이상 쓰이는가?
- 문서 검색 시간이 줄었는지 직접 측정했는가?
- AI가 틀렸을 때 되돌아볼 원본 문서가 정리되어 있는가?
AI 비서를 만들면서 가장 크게 배운 점은 도구보다 정리가 먼저라는 것이었습니다. 문서가 정리되지 않으면 AI는 더 빠르게 틀릴 수 있습니다. 반대로 믿을 문서와 제외할 문서를 먼저 정하면, AI는 반복 작업을 줄여주는 꽤 쓸 만한 보조 도구가 될 수 있었습니다.