simonlin1212/investment-news 딥다이브
— 100개 넘는 뉴스 소스를 "내 AI가 대신 읽어" 12개 산업 요점으로 압축하는 로컬 대시보드

1프로젝트 한 줄 요약

"뉴스는 넘치는데 정작 산업이 어디로 가는지는 안 보인다" 를 해결하는 도구

Investment News는 이름 그대로 "투자 뉴스" 도구지만, 흔한 뉴스 앱과는 목적이 다르다. 보통의 뉴스 앱은 피드(feed)를 준다 — 기사를 끝없이 쌓아 보여주고, 읽는 건 사람 몫이다. 이 도구의 핵심은 반대다. "읽고 요약하는 일을 AI에게 시킨다."

구체적으로는 이렇게 동작한다. ① 반도체·AI·로봇·전기차·에너지 등 12개 산업 섹터 각각에 대해, 미리 골라둔 108개의 권위 있는 뉴스 소스(RSS)에서 최근 기사를 긁어온다. ② 섹터별로 사용자 본인의 LLM을 불러 "오늘의 요점 3~5개"를 뽑고, 영어 제목을 중국어로 번역한다. ③ 결과를 브라우저 대시보드 한 장(http://localhost:8793)에 올린다. 왼쪽에서 섹터를 고르면, 맨 위에 AI 요점 카드가 뜨고 그 아래 뉴스가 한 줄씩 정렬된다.

2왜 주목받는가 — 뉴스 앱 대신 이걸 쓰는 이유

기술 트렌드 상으로 딱 지금 먹히는 3가지 코드가 겹쳐 있다

이 저장소가 트렌딩에 오른 이유는 단순히 "투자 뉴스 모아줌" 이 아니다. 2026년 개발 씬에서 동시에 인기 있는 세 가지 흐름이 한 프로젝트에 깔끔하게 겹쳐 있기 때문이다.

① "내 LLM을 가져와 쓴다" (BYO-LLM · 구독 재활용)

요즘 트렌딩 상위권은 Claude Code / Codex 구독을 API처럼 재활용하는 도구가 점령하고 있다. 이 프로젝트도 같은 코드다. 이미 월정액을 내고 있는 Claude 구독을, 뉴스 요약이라는 "배치 작업"에 재사용한다. 별도 API 키도, 토큰 과금도 없다(claude-cli 모드, $0). API를 쓰고 싶으면 DeepSeek·OpenAI 등 아무 OpenAI 호환 엔드포인트로 한 줄만 바꾸면 된다.

② 로컬 우선 · 프라이버시 (Local-first)

투자 관심사는 민감한 정보다. "내가 반도체·방산에 관심 있다"는 걸 외부 서버에 남기고 싶지 않다. 이 도구는 데이터베이스도, 호스팅도, 계정도 없다. 웹서버는 127.0.0.1(내 컴퓨터)에만 바인딩되고, 수집·렌더링이 전부 로컬에서 끝난다. 클라우드에 남는 게 없다.

③ 의존성 0 (Zero-dependency)

파이썬 프로젝트를 받아 pip install 하다 버전 충돌로 좌절해 본 적 있다면 이 설계가 왜 인기인지 안다. 이 저장소는 third-party 패키지가 하나도 없다. RSS 파싱은 xml.etree, HTTP 요청은 urllib, 웹서버는 http.server — 전부 파이썬에 기본 내장된 표준 라이브러리다. git clone 후 python3 server.py 만 치면 끝. 이게 진입장벽을 극단적으로 낮춘다.

3기술 스택 전체 지도 — "의존성 0"의 정체

외부 패키지가 없다는 건, 파이썬 표준 라이브러리를 제대로 쓴다는 뜻이다

"third-party 0개"는 마케팅 문구가 아니라 실제로 requirements.txt가 없다. 그 대신 파이썬에 기본 내장된 표준 모듈들을 조합한다. 초보자가 이 저장소를 좋은 교재로 삼을 수 있는 이유가 여기 있다 — 배우는 게 전부 "순정 파이썬"이라 어디서든 재사용된다.

백엔드 (수집·요약·서버) — 전부 Python 표준 라이브러리

프론트엔드 (대시보드) — 빌드 도구 없는 순수 웹

index.html 한 파일 안에 HTML·CSS·JavaScript가 전부 들어 있다. React도, 번들러도, npm도 없다. 브라우저가 data.js(수집 결과)를 <script> 태그로 불러오고, 바닐라 JS가 사이드바 12개 섹터와 뉴스 행을 그린다. 테마는 CSS 변수(--accent 등)로 다크 모드 고정. 폰트는 Inter + JetBrains Mono를 Google Fonts에서 로드한다.

인프라 — 없음이 특징

데이터베이스 없음, 도커 없음, 클라우드 없음. "인프라"라 부를 게 server.py가 띄우는 로컬 HTTP 서버 하나뿐이다. 배포 대상이 "내 노트북"이라서 인프라가 통째로 사라졌다. 이게 초보자에게는 오히려 축복이다 — 볼 코드가 명확하다.

4아키텍처 심화 분석 — 3단 파이프라인

fetch(수집) → digest(요약) → render(표시), 그리고 그 사이를 잇는 data.js

전체 구조는 놀랄 만큼 단순한 3단 파이프라인이다. 각 단계가 독립 스크립트라서, 하나만 따로 돌려볼 수도 있다. 단계 사이의 "데이터 배턴"은 data.js 파일 하나다.

핵심 설계 패턴 1 — "I/O는 스레드 많이, LLM은 스레드 적게"

같은 ThreadPoolExecutor를 쓰면서 두 단계의 스레드 수가 정반대다. 이게 의도된 튜닝이다.

• 수집(fetch)은 max_workers=40: 네트워크 대기(I/O bound)가 병목이라, 스레드를 많이 띄워 108개 소스를 "동시에 기다린다". 파이썬 GIL이 있어도 I/O 대기 중에는 다른 스레드가 도니까 효과가 크다.
• 요약(digest)은 WORKERS=3: LLM 호출은 무겁고, 특히 claude CLI를 자식 프로세스로 중첩 실행하면 너무 많이 띄울 때 불안정해진다. 그래서 일부러 3개로 줄였다.

핵심 설계 패턴 2 — llm.py 라는 "어댑터"

digest.py는 "요약해줘"만 알고, 그게 Claude 구독인지 DeepSeek API인지는 모른다. 그 차이를 llm.py의 call(system, user, cfg) 함수 하나가 흡수한다. provider 값에 따라:

# llm.py 의 핵심 분기
def call(system, user, cfg=None, timeout=240):
    if cfg.get("provider") == "api":
        return _call_api(...)   # urllib 로 /chat/completions POST
    return _call_cli(...)       # subprocess 로 claude -p 실행

이게 바로 어댑터 패턴(Adapter Pattern)이다. 새 LLM 제공자가 생겨도 llm.py에 함수 하나만 추가하면, digest.py는 손댈 필요가 없다. "구독이냐 API냐"를 설정 파일 한 줄로 가르는 유연함이 여기서 나온다.

핵심 설계 패턴 3 — claude CLI를 "도구 없는 번역기"로 격리

구독 모드에서 claude를 부를 때, 이 코드는 --disallowedTools로 Read·Write·Bash·WebFetch 등 모든 도구를 꺼버린다. 즉 claude를 "파일도 못 읽고 인터넷도 못 쓰는, 오직 넘겨준 텍스트만 처리하는 순수 요약기"로 가둔다. 자동화 배치에서 AI가 예상 밖 행동(파일 수정·웹 접근)을 하지 못하게 막는 최소 권한 원칙의 실전 예다.

핵심 설계 패턴 4 — 새로고침(⟳)의 보안: GET이 아니라 POST

대시보드의 새로고침 버튼은 /api/refresh에 POST로만 요청한다. server.py는 do_GET에서 이 경로를 일부러 처리하지 않는다. 이유가 주석에 적혀 있다:

핵심 설계 패턴 5 — 프론트엔드 XSS 방어

뉴스 제목·링크는 외부 RSS에서 온 데이터라 그대로 믿으면 안 된다. index.html은 두 겹으로 막는다: esc()로 < > & "를 전부 이스케이프하고, 링크는 safeUrl()로 http(s)://로 시작하는 것만 통과시킨다. javascript: 같은 가짜 프로토콜은 걸러진다.

// 외부 RSS 링크는 http(s) 만 허용 → javascript: 등 차단
function safeUrl(u){
  u=(''+(u||'')).trim();
  return /^https?:\/\//i.test(u) ? esc(u) : '';
}

"외부에서 들어온 데이터는 전부 오염된 것으로 취급한다"는 웹 보안의 기본기를, 40줄짜리 렌더 함수 안에서 정직하게 실천한다.

핵심 설계 패턴 6 — data.js 라는 영리한 "중간 저장소"

수집 결과를 왜 data.json이 아니라 data.js로 저장할까? 파일 첫 줄이 window.DATA = {...}라서, 브라우저가 <script src="data.js">로 불러오는 순간 전역 변수에 데이터가 꽂힌다. 별도의 fetch() 요청도, CORS 설정도 필요 없다. 순수 정적 파일 서버(심지어 python3 -m http.server)만 있어도 대시보드가 뜨는 이유다.

5디렉토리 구조 해부

파일이 15개도 안 된다 — 전부 한 번씩 열어볼 만하다

읽는 순서를 추천하자면: ① README.en.md로 목적 파악 → ② fetch.py로 "데이터가 어떻게 들어오나" → ③ llm.py로 "LLM을 어떻게 추상화했나" → ④ digest.py로 "요약 프롬프트와 재시도" → ⑤ server.py로 "서버·보안" → ⑥ index.html의 JS 부분으로 "어떻게 그리나". 이 순서가 파이프라인 흐름과 정확히 일치한다.

6학습 포인트 — 이 코드에서 뭘 배우나

기술별로 "이 저장소에서 배울 수 있는 것 + 바로 응용할 아이디어"

① 파이썬 표준 라이브러리로 실전 크롤러 만들기

fetch.py는 "requests 없이도 웹 수집이 된다"는 걸 보여준다. urllib.request.Request에 User-Agent 헤더를 붙이고, xml.etree로 RSS/Atom을 동시에 파싱하며, email.utils.parsedate_to_datetime으로 제각각인 날짜 문자열을 표준 datetime으로 바꾼다.

응용 아이디어: 이 fetch.py만 떼어내 "내가 보는 블로그 20개의 최신 글 모으기" 같은 개인 도구로 재활용할 수 있다.

② 어댑터 패턴으로 "교체 가능한 LLM" 설계

llm.py는 좋은 인터페이스 설계의 교과서다. 호출부(digest.py)는 call(system, user) 하나만 알고, 뒤에 구독이 있든 API가 있든 신경 쓰지 않는다.

응용 아이디어: 이 llm.py를 그대로 복사해 다른 프로젝트에 붙이면, 어떤 앱이든 "구독/API 둘 다 지원"이 공짜로 생긴다.

③ 프롬프트를 "구조화된 JSON 출력"으로 강제하기

digest.py의 시스템 프롬프트는 "오직 JSON만 출력, 설명·코드블록 금지"라고 명령하고, 원하는 스키마({"points":[...],"items":[...]})를 예시로 못박는다. 그리고 extract_json()이 응답에서 첫 {와 마지막 } 사이만 잘라 파싱한다. LLM이 가끔 군더더기를 붙여도 견디는 방어적 파싱이다.

응용 아이디어: "요점 + refs(출처 번호)"처럼, AI 요약에 근거 링크를 붙이는 패턴은 RAG·리서치 도구 어디에나 쓰인다.

④ 자동화에 강한 "실패를 드러내는" 코드

v1.0.1의 변경 이력이 통째로 교훈이다. 원래는 실패를 조용히 삼켰는데(except: return []), 자동 스케줄로 돌릴 때 "어느 섹터가 왜 비었는지" 아무도 몰랐다. 그래서 ① 예외 원인을 출력하고 ② 최대 3번 재시도하고 ③ 끝에 실패 섹터를 요약하고 ④ "재실행하면 실패한 섹터만 다시 채운다"로 바꿨다.

⑤ 콘텐츠 거버넌스 (레드라인 필터)

sources.json에 redline_keywords 배열이 있다 — 도박·복권·예측시장(polymarket/kalshi)·암호화폐·성인 콘텐츠 키워드. fetch.py가 제목+요약을 소문자로 합쳐 이 단어가 있으면 그 기사를 버린다. "정치·재경은 통과, 특정 카테고리는 차단"이라는 수집 단계 필터링의 단순하고 명확한 예다.

7시스템 요구사항

노트북 한 대면 충분하다 — 무거운 건 "네가 붙인 LLM" 뿐

실제 "부하"는 전적으로 LLM 요약 단계에 몰린다. 구독 모드는 로컬 claude를 자식 프로세스로 12섹터 × 재시도만큼 부르므로, 첫 새로고침이 수십 초~몇 분 걸릴 수 있다(digest.py 타임아웃은 섹터당 최대 20분으로 넉넉). 반대로 API 모드는 병렬 HTTP라 대체로 빠르지만 토큰 비용이 든다.

8직접 해볼 수 있는 실습 과제

클론해서 하나씩 손대보면 파이프라인이 통째로 이해된다

초급 · 손에 익히기

• 내 관심 섹터로 소스 추가: sources.json의 sources 배열에 한 줄({"name","hint","type":"rss","url"})을 더해, 국내 매체 RSS를 붙여본다. 코드 변경 0줄로 새 소스가 뜨는 걸 확인.
• 수집 기간 바꾸기: fetch.recent_days를 7 → 3으로 줄여 "최근 3일"만 보기. 필터가 어떻게 반영되는지 관찰.
• 레드라인 단어 추가: 걸러내고 싶은 키워드를 redline_keywords에 넣고, 해당 기사가 사라지는지 확인.

중급 · 구조 만지기

• API 모드로 전환: llm.config.json을 provider:"api"로 바꾸고 DeepSeek 키를 넣어, 구독 없이 요약이 도는지 검증. llm.py의 어댑터가 어떻게 분기하는지 코드로 따라가기.
• 요점 개수 조정: digest.py의 프롬프트를 고쳐 "요점 3~5개"를 "요점 최대 8개 + 각 요점에 한 줄 근거"로 확장해 본다.
• 단독 실행: python3 scripts/fetch.py만 돌려 data.js를 만들고, 콘솔에 찍히는 "섹터별 소스/기사 수" 통계를 읽어본다.

고급 · 확장하기

• RSS 아닌 소스 지원: fetch.py에 type:"html" 분기를 추가해, RSS가 없는 사이트를 xml.etree 대신 간단한 파싱으로 긁어오게 확장.
• 이력 저장: 지금은 data.js를 매번 덮어쓴다. 날짜별로 data-YYYYMMDD.js를 남겨 "지난주 요점"을 비교하는 기능을 붙여본다.
• 한국어 대시보드로 현지화: 프롬프트의 "중국어 번역/요약"을 "한국어"로 바꾸고, 섹터명·UI 라벨을 한글화해 국내용 산업 브리핑 도구로 개조.

9관련 기술 심화 학습 로드맵

이 저장소를 발판 삼아 "AI 데이터 파이프라인 개발자"로 가는 4주 코스

10핵심 키워드 사전

이 문서에 나온 개념들을 한 줄로 정리

11참고 링크

직접 클론해 읽어보는 게 가장 빠른 학습이다

이 저장소

• simonlin1212/investment-news — 본체 (MIT)
• README.en.md — 영문 개요 · 기능 표 · Quick Start
• SKILL.md — AI 에이전트용 사용 안내 (셋업·새로고침·소스 추가)
• CHANGELOG.md — v1.0.0 → 1.0.1 "실패를 드러내는" 리팩터링 이력
• sources.json — 108개 소스 · 12개 섹터 · 레드라인 단어 원본

핵심 소스 파일 (읽기 순서)

• scripts/fetch.py — 수집·필터·시간정규화 (표준 라이브러리 크롤러)
• scripts/llm.py — LLM 어댑터 (구독/API 통합)
• scripts/digest.py — 요점·번역 프롬프트와 재시도
• server.py — 로컬 서버 + CSRF 방어
• index.html — 바닐라 JS 대시보드 + XSS 방어

기반 개념 · 문서

• concurrent.futures — 파이썬 공식 스레드/프로세스 풀 문서
• xml.etree.ElementTree — 표준 XML 파서 문서
• http.server — 표준 라이브러리 웹서버
• OWASP CSRF Prevention — server.py 방어의 배경
• OWASP XSS Prevention — index.html esc()/safeUrl()의 배경
• RSS 2.0 Specification · Atom Format — 피드 스펙