Przejdź do treści

01 — Architecture

Insurance Intelligence System

Stan zaktualizowany: 2026-09-22 — pełny przegląd po sesji budowy Discovery Layer i Agenta 2+3.


Diagram systemu (stan faktyczny)

┌─────────────────────────────────────────────────────────────────┐
│                     ŹRÓDŁA DANYCH                               │
│  YouTube │ KNF │ PIU │ RSS PL/EN │ Podcasty │ Brave Search      │
└─────────────────────────┬───────────────────────────────────────┘
                          │
          ┌───────────────┼───────────────┬─────────────────┐
          ▼               ▼               ▼                 ▼
   ┌────────────┐  ┌──────────────┐ ┌────────────┐  ┌─────────────┐
   │ Agent 1a   │  │  Agent 1b    │ │ Agent 1b   │  │  Agent 1c   │
   │ Collector  │  │  Web Scout   │ │ Discovery  │  │ Transcriber │
   │ (YouTube   │  │  (RSS/files/ │ │ (Brave     │  │ (Groq       │
   │  MCP)      │  │  global/     │ │  Search,   │  │  Whisper)   │
   │            │  │  investor/   │ │  budżet    │  │             │
   │            │  │  audio)      │ │  chroniony)│  │             │
   └─────┬──────┘  └──────┬───────┘ └─────┬──────┘  └──────┬──────┘
         │ raw_signals    │ source_documents (html/pdf/xlsx/audio_url)
         │                │                │                │
         │                └────────────────┴────────────────┘
         │                                 │
         │                                 ▼ (html/pdf/transkrypcje)
         │                ┌─────────────────────────────────────┐
         │                │  Agent 2+3 — Extractor + Classifier  │
         │                │  (POŁĄCZONE — jedno wywołanie        │
         │                │   `claude -p`, Claude Code CLI,      │
         │                │   licencja Accenture, nie płatne API)│
         │                │  1. Darmowy pre-filtr (bez AI)        │
         │                │  2. Claude: zrozum + oceń jednocześnie│
         │                └──────────────────┬────────────────────┘
         │                                   │ extracted_signals
         │                                   │ classified_signals
         └───────────────────────────────────┤
                                              ▼
                              ┌─────────────────────────────┐
                              │  Agent 4 — Analyst            │
                              │  (zaprojektowany, NIE zbudowany│
                              │   jako kod — patrz 03_AGENTS.md)│
                              │  Trendy, anomalie, insights    │
                              └──────────────┬─────────────────┘
                                             │ insights
                                             ▼
                              ┌─────────────────────────────┐
                              │  Agent 5 — Reporter            │
                              │  (zaprojektowany, NIE zbudowany│
                              │   jako kod)                    │
                              │  Dashboard, raporty, telemetria│
                              └─────────────────────────────────┘

Legenda stanu: Agent 1a/1b/1c i Agent 2+3 są zaimplementowane i przetestowane end-to-end (2026-09-22). Agent 4 (Analyst) i Agent 5 (Reporter) są zaprojektowane w 03_AGENTS.md, ale nie mają jeszcze kodu — to następny duży krok.


Komponenty techniczne (stan faktyczny)

Komponent 1 — Zbieranie danych

  • Agent 1a (Collector/YouTube MCP): Python + FastMCP, /opt/youtube-mcp/, systemd, port 8000. Podłączany jako Custom Connector w Claude.ai — osobno od n8n.
  • Agent 1b (Web Scout + Discovery): Python, /opt/insurance/scout/web_scout.py. Bez frameworka MCP — proste requests/feedparser/BeautifulSoup. Discovery używa Brave Search API (płatne po przekroczeniu darmowego kredytu — twarde limity budżetu w sources.yaml + discovery_state.json).
  • Agent 1c (Transcriber): Python, /opt/insurance/transcriber/transcription_agent.py. Groq Whisper (darmowy tier) do transkrypcji audio — jedyne pozostałe zastosowanie Groq w projekcie po wycofaniu starszego klasyfikatora tekstowego (patrz _archive/).

Komponent 2 — Zrozumienie i klasyfikacja treści

  • Agent 2+3 (Extractor + Classifier, połączone): Python, /opt/insurance/extractor/extraction_agent.py. Wywołuje Claude Code CLI w trybie headless (claude -p, subprocess.run) — NIE płatne Anthropic API. Zalogowane jednorazowo na koncie Accenture Enterprise. Jedno wywołanie Claude na dokument: rozumie treść i ocenia wartość jednocześnie (nie dwa osobne wywołania).
  • Darmowy pre-filtr przed każdym wywołaniem Claude — odrzuca oczywisty śmieć (krótka treść, boilerplate/404/captcha) bez kosztu AI.

Komponent 3 — Baza danych

  • Technologia: PostgreSQL, insurance_intelligence, użytkownik insurance_user
  • Lokalizacja: VPS, ten sam serwer (localhost:5432)
  • Schemat: patrz 02_DATA_MODEL.md — 18 tabel (stan 2026-09-22)

Komponent 4 — Orkiestracja

  • Technologia: n8n (Docker, Traefik reverse proxy), https://n8n.srv1298625.hstgr.cloud/
  • Mechanizm: n8n działa w swoim kontenerze bez dostępu do plików VPS — łączy się z hostem przez wbudowany węzeł SSH (dedykowany keypair n8n_agent, nie klucz root użytkownika) i wykonuje tam skrypty Python
  • Workflow (stan 2026-09-22): Agent 1b.1 (Web Scout), Agent 1b.2 (Discovery), Agent 1c (Transcriber), Agent 2+3 (Extractor+Classifier), oraz master-workflow "Pipeline - Full Flow" łączący je przez węzły "Execute Workflow"

Komponent 5 — Dashboard & Reporting (zaprojektowane, nie zbudowane)

  • Technologia (plan): HTML/JS serwowany przez nginx, subdomeny intelligence.srv1298625.hstgr.cloud (dashboard), docs.intelligence... (dokumentacja), db.intelligence... (Adminer — podgląd bazy)
  • Stan: kontenery nginx istnieją w docker-compose.yml, ale bez rzeczywistej zawartości dashboardu — Agent 5 (Reporter) nie ma jeszcze kodu generującego widoki

Segmenty danych (pionowy podział)

Segment Opis Priorytet
ceo_cfo_tu Wywiady z zarządami TU P1
financials_tu Wyniki finansowe, raporty P1
regulators KNF, PIU, NBP, UFG P1
conferences Konferencje, panele branżowe P2
bancassurance Banki jako kanał dystrybucji P2
intermediaries Multiagenci, brokerzy, OFWCA P2
expert_analysis Podcasty, analizy, consulting P2
eu_groups Grupy europejskie (kontekst PL) P3
noise Treść odrzucona jako bezwartościowa —
unclassified Nie przypisano segmentu —

Infrastruktura VPS (stan faktyczny 2026-09-22)

  • Provider: Hostinger, IP: 76.13.15.1, OS: Ubuntu 24.04.3 LTS, użytkownik root
  • Katalog aplikacji: /opt/insurance/ (scout, transcriber, extractor, config, venv) — nie /opt/youtube-mcp/ dla nowszych agentów, to osobna, starsza usługa
  • Zainstalowane globalnie: Node.js 22.21.1 (dla Claude Code CLI), npm, Claude Code CLI (claude, zalogowany kontem Accenture Enterprise), Python 3.12 + venv, pdfplumber, psycopg2, feedparser, BeautifulSoup
  • Kontenery Docker: n8n + Traefik (reverse proxy, Let's Encrypt), Adminer, nginx (dashboard/docs — puste kontenery), docker-compose.yml w /docker/n8n/
  • Zarchiwizowane (nieużywane, ale zachowane): /opt/insurance/_archive/classifier_groq_deprecated_20260922/ — starsza, zastąpiona implementacja Agenta 3 oparta o Groq (zamiast Claude Code CLI)

Zasady architektoniczne

  1. Ekonomiczność — wszystko co zużywa tokeny AI idzie przez Claude Code CLI (licencja Accenture), nigdy przez osobno rozliczane API. Płatne API zewnętrzne (Brave Search) tylko z twardymi limitami budżetu.
  2. Przejrzystość — każdy agent ma jedną odpowiedzialność (Single Responsibility); odstępstwa (np. połączenie Agenta 2+3 w jedno wywołanie) są jawnie dokumentowane jako "stan faktyczny", nie zamilczane.
  3. Iterowalność — system zbiera szeroko, filtruje najpierw darmowym pre-filtrem, potem Claude (nie odwrotnie).
  4. Dokumentowalność — każda zmiana architektury aktualizuje te pliki od razu po zbudowaniu, nie później (zasada ustalona 2026-09-22 po odkryciu niezadokumentowanego, konkurencyjnego kodu na VPS).
  5. Separacja segmentów — dane TU, bancassurance i multiagenci nigdy się nie mieszają.
  6. Weryfikacja przed integracją — każde nowe źródło/API sprawdzane pod kątem ToS i limitów (RSS/paywall/bot-protection) przed wdrożeniem, nie po.