Xat Bot 2026

# ═══════════════════════════════════════════════════════
# IMPORTS — Llibreries necessàries per al scraper
# ═══════════════════════════════════════════════════════
import requests
from bs4 import BeautifulSoup
import time
import json
from urllib.parse import urljoin, urlparse

# ═══════════════════════════════════════════════════════
# 1. CONFIGURACIÓ INICIAL
# ═══════════════════════════════════════════════════════
base_url = "https://inoor.inscastellbisbal.net/"
domain = urlparse(base_url).netloc     # extreu 'inoor.inscastellbisbal.net'
urls_visitades = set()                 # cache per evitar repetir pàgines
dades_finals = []                       # llista on s'acumulen totes les dades

# ═══════════════════════════════════════════════════════
# FUNCIÓ PRINCIPAL: SCRAPER RECURSIU
# ═══════════════════════════════════════════════════════
def scraper_recursiu(url_actual, profunditat_max=2):
    # Punt 1: Comprovem si ja hem visitat la URL o si hem arribat al límit
    if url_actual in urls_visitades or profunditat_max == 0:
        return

    # Punt 2: Sistema de verificació (cache) per evitar repetir pàgines
    urls_visitades.add(url_actual)
    print(f"Explorant: {url_actual}")

    try:
        # Punt 3: Robustesa — Delay de 0.3 segons per ètica i seguretat
        time.sleep(0.3)

        # Punt 3: Robustesa — Timeout de 10 segons + headers Mozilla
        headers = {'User-Agent': 'Mozilla/5.0'}
        resposta = requests.get(url_actual, headers=headers, timeout=10)
        resposta.raise_for_status()   # llança excepció si hi ha error HTTP

        # Parsejar el HTML amb BeautifulSoup
        sopa = BeautifulSoup(resposta.text, 'html.parser')

        # Eliminar brossa: menús, peus de pàgina, sidebars
        for tag in sopa.find_all(['nav', 'footer', 'header', 'aside']):
            tag.decompose()

        # Extreure títols (h1–h4) i paràgrafs
        titols = [t.get_text(strip=True) for t in sopa.find_all(['h1','h2','h3','h4'])]
        paragrafs = [p.get_text(strip=True) for p in sopa.find_all('p') if p.get_text(strip=True)]

        # Afegir les dades estructurades a la llista final
        if titols or paragrafs:
            dades_finals.append({
                "url": url_actual,
                "titols": titols,
                "contingut": paragrafs
            })

        # Punt 4: Navegar per tots els enllaços interns
        for link in sopa.find_all('a', href=True):
            url_absoluta = urljoin(base_url, link['href'])
            if urlparse(url_absoluta).netloc == domain:
                scraper_recursiu(url_absoluta, profunditat_max - 1)

    except Exception as e:
        print(f"Error a {url_actual}: {e}")

# ═══════════════════════════════════════════════════════
# INICI DEL SCRAPING
# ═══════════════════════════════════════════════════════
print("Iniciant el rastreig de la web d'Iman...")
scraper_recursiu(base_url)

# ═══════════════════════════════════════════════════════
# EXPORTACIÓ AL FITXER JSON
# ═══════════════════════════════════════════════════════
with open('dades_iman_total.json', 'w', encoding='utf-8') as f:
    json.dump(dades_finals, f, indent=2, ensure_ascii=False)

print(f"✅ Fet! {len(dades_finals)} pàgines exportades a dades_iman_total.json")