전체 글1429 Ubuntu 업그레이드 이후 드러난 자동화 운영 부채 정리 ## 들어가며 Ubuntu 메이저 업데이트 이후 여러 자동화가 동시에 흔들렸다. `weather_bot` 데몬은 정상 실행되지 않았고, `tg-monitor.service`는 반복 재시작 상태에 들어갔다. Telegram 봇의 사용량 그래프도 멈췄고, Grafana에서는 server-a만 `no data`로 보였다. 처음에는 각각 다른 장애처럼 보였지만, 점검을 이어가면서 공통점이 보였다. 업데이트가 모든 문제의 직접 원인이라기보다는, 기존 스크립트와 서비스가 특정 환경을 너무 강하게 전제하고 있었고 그 전제가 업그레이드 이후 표면으로 올라온 것이다. 운영 자동화는 평소에는 조용히 돌아가지만, 한번 어긋나면 여러 층에서 동시에 증상이 나타난다. 알림 봇이 흔들리면 장애 감지가 늦어지고, 리포트 값이 비면.. 2026. 9. 29. 디스크 정리에서 OS 업그레이드 판단까지, 운영 서버 점검 기록 ## 들어가며 운영 서버의 장애는 늘 큰 사건처럼 시작되지 않는다. 이번 작업은 `server-a`의 루트 디스크 사용률이 97%까지 올라간 것을 확인하면서 시작했다. 25GB SSD 중 대부분을 이미 사용 중이었고, 남은 공간은 1GB 미만이었다. 이 정도면 서비스가 바로 멈추지 않더라도 로그 기록 실패, 패키지 작업 실패, 컨테이너 동작 불안정 같은 문제가 따라올 수 있다. 처음에는 급한 디스크 정리가 목표였다. 하지만 막상 살펴보니 같은 유형의 캐시와 불필요 패키지가 다른 서버에도 남아 있었고, 통합 리포트 대상 서버도 늘려야 했다. 여기에 모니터링 도구의 용량 부담과 Ubuntu LTS 업그레이드 시점까지 같이 검토하게 됐다. 하루 작업이었지만 내용은 단순 청소보다 운영 기준을 다시 세우는 쪽에 .. 2026. 9. 29. AI 코딩 에이전트 운영 규칙을 먼저 세운 날 ## 들어가며 2026년 7월 13일 작업은 서비스를 새로 올리거나 장애를 처리한 날이 아니라, AI 코딩 에이전트를 운영 업무에 투입하기 전에 기준을 세운 날이었다. Cline이 서버 관리 작업을 도울 수 있으려면 명령 실행 능력만으로는 부족했다. 어떤 언어로 답할지, 기술 설명을 어떤 순서로 할지, 판단이 애매할 때 어디서 멈출지를 먼저 정해야 했다. 원문에는 Cline 규칙 파일을 만들고, 여러 서버의 SSH 접속 설정을 확인하고, 문서 저장 기준과 원격 파일 편집 도구의 역할을 정리한 과정이 남아 있다. 공개 글에서는 실제 호스트 이름과 주소, 내부 경로처럼 환경을 특정할 수 있는 값은 쓰지 않는다. 대신 server-a, server-b, server-c처럼 일반화해서, 작업의 의도와 운영상 의.. 2026. 9. 21. 노트북 서버를 운영 노드로 편입하기 전에 확인한 것들 ## 들어가며 2026년 7월 8일 작업은 노트북 기반의 server-a를 24시간 운영 가능한 서버 노드로 편입하기 위한 초기 점검이었다. 서비스를 바로 올리는 단계라기보다, 장비가 계속 켜져 있고, 시간이 맞고, 네트워크가 통하고, 안전하게 원격 접속할 수 있는지 확인하는 작업에 가까웠다. 노트북을 서버처럼 쓰면 일반 서버 장비와 다른 고민이 생긴다. 배터리와 전원 제어를 함께 봐야 하고, 자동 부팅이나 Wake-on-LAN을 기대할 수 있는지도 확인해야 한다. 원문 기록의 핵심도 특정 서비스 구축이 아니라, 운영 환경의 기초를 차분히 맞추는 데 있었다. ## 운영 환경과 고민 server-a는 24시간 상시 가동을 기본 방향으로 잡았다. BIOS에서 자동 부팅과 Wake-on-LAN 지원 여부를 확.. 2026. 9. 18. 이전 1 2 3 4 ··· 358 다음