// Bereinigt die Wikidata-Rohdaten zu einer Zeile je Gemeinde. Nur lokal, kein Netz. // Ergebnis: daten/gemeinden.jsonl import { readFileSync, writeFileSync } from 'node:fs'; import { dirname, join } from 'node:path'; import { fileURLToPath } from 'node:url'; const hier = dirname(fileURLToPath(import.meta.url)); const roh = JSON.parse(readFileSync(join(hier, 'daten', 'wikidata-roh.json'), 'utf8')); // Adressen, die keine eigene Website der Gemeinde sind. const FREMD = /(^|\.)(facebook\.com|instagram\.com|wikipedia\.org|wikivoyage\.org|twitter\.com|x\.com|youtube\.com|google\.[a-z.]+|linkedin\.com|archive\.org)$/i; function hostVon(url) { try { const u = new URL(url.trim()); if (!/^https?:$/.test(u.protocol)) return null; const h = u.hostname.toLowerCase().replace(/\.$/, ''); return /^[a-z0-9.-]+\.[a-z0-9-]{2,}$/.test(h) ? h : null; } catch { return null; } } const proAgs = new Map(); for (const z of roh) { if (!proAgs.has(z.ags)) proAgs.set(z.ags, { ags: z.ags, qid: z.qid, name: z.name, urls: new Set() }); const e = proAgs.get(z.ags); e.name ??= z.name; if (z.website) e.urls.add(z.website); } const rang = (a, b) => Number(b.startsWith('https:')) - Number(a.startsWith('https:')) || a.length - b.length || a.localeCompare(b); const zeilen = []; const zaehler = { gesamt: proAgs.size, ohneWebsite: 0, ungueltig: 0, fremd: 0, nutzbar: 0, mehrereUrls: 0 }; for (const e of [...proAgs.values()].sort((a, b) => a.ags.localeCompare(b.ags))) { const urls = [...e.urls].sort(rang); const kandidaten = urls.map((url) => ({ url, host: hostVon(url) })); const gut = kandidaten.filter((k) => k.host && !FREMD.test(k.host)); let status = 'ok'; if (!urls.length) { status = 'ohne_website'; zaehler.ohneWebsite++; } else if (!kandidaten.some((k) => k.host)) { status = 'ungueltig'; zaehler.ungueltig++; } else if (!gut.length) { status = 'fremd'; zaehler.fremd++; } else zaehler.nutzbar++; if (urls.length > 1) zaehler.mehrereUrls++; zeilen.push({ ags: e.ags, land: e.ags.slice(0, 2), name: e.name, qid: e.qid, status, url: gut[0]?.url ?? null, host: gut[0]?.host ?? null, weitere: gut.slice(1).map((k) => k.url), }); } writeFileSync(join(hier, 'daten', 'gemeinden.jsonl'), zeilen.map((z) => JSON.stringify(z)).join('\n') + '\n'); const proHost = new Map(); const endung = {}; for (const z of zeilen) { if (!z.host) continue; proHost.set(z.host, (proHost.get(z.host) ?? 0) + 1); const e = z.host.split('.').pop(); endung[e] = (endung[e] ?? 0) + 1; } const geteilt = [...proHost.entries()].filter(([, n]) => n > 1); console.log(JSON.stringify({ ...zaehler, verschiedeneHosts: proHost.size, geteilteHosts: geteilt.length, gemeindenAufGeteiltenHosts: geteilt.reduce((s, [, n]) => s + n, 0), groessteGeteilteHosts: geteilt.sort((a, b) => b[1] - a[1]).slice(0, 12), endungen: Object.entries(endung).sort((a, b) => b[1] - a[1]).slice(0, 8), }, null, 1));