// Baut die endgültige Grundgesamtheit: alle amtlichen Gemeinden mit ihrer belegten Website. // Quelle der Gemeinden ist allein das Gemeindeverzeichnis. Ergebnis: daten/universum.jsonl, daten/hosts-nachmessung.txt import { readFileSync, writeFileSync } from 'node:fs'; import { dirname, join } from 'node:path'; import { fileURLToPath } from 'node:url'; const hier = dirname(fileURLToPath(import.meta.url)); const pfad = (d) => join(hier, 'daten', d); const jsonl = (d) => readFileSync(pfad(d), 'utf8').trim().split('\n').filter(Boolean).map((z) => JSON.parse(z)); const hostVon = (url) => new URL(url).hostname.toLowerCase().replace(/\.$/, ''); const wiki = new Map(jsonl('gemeinden.jsonl').map((g) => [g.ags, g])); const recherche = new Map(JSON.parse(readFileSync(pfad('luecken-recherche.json'), 'utf8')).map((g) => [g.ags, g])); const gemessen = new Set(jsonl('messung-voll.jsonl').map((m) => m.host)); const zeilen = jsonl('destatis-gemeinden.jsonl').map((g) => { const r = recherche.get(g.ags); const w = wiki.get(g.ags); if (r && r.art !== 'nicht_gefunden' && r.url) { return { ...g, url: r.url, host: hostVon(r.url), quelle: 'recherche', art: r.art, beleg_url: r.beleg_url }; } if (w?.host) return { ...g, url: w.url, host: w.host, quelle: 'wikidata', art: null, qid: w.qid }; return { ...g, url: null, host: null, quelle: null, art: null }; }); writeFileSync(pfad('universum.jsonl'), `${zeilen.map((z) => JSON.stringify(z)).join('\n')}\n`); const neu = [...new Set(zeilen.filter((z) => z.host && !gemessen.has(z.host)).map((z) => z.host))].sort(); writeFileSync(pfad('hosts-nachmessung.txt'), `${neu.join('\n')}\n`); console.log(JSON.stringify({ gemeinden: zeilen.length, mitWebsite: zeilen.filter((z) => z.host).length, ohneWebsite: zeilen.filter((z) => !z.host).map((z) => z.name), ausRecherche: zeilen.filter((z) => z.quelle === 'recherche').length, verschiedeneHosts: new Set(zeilen.filter((z) => z.host).map((z) => z.host)).size, neueHosts: neu.length, }));