// Liest das amtliche Gemeindeverzeichnis (xlsx) ohne Fremdpakete und gleicht es mit der Wikidata-Liste ab. // Aufruf: node 04-destatis.mjs import { readFileSync, writeFileSync } from 'node:fs'; import { inflateRawSync } from 'node:zlib'; const [xlsx, wikiPfad, ziel, abgleichPfad] = process.argv.slice(2); function zipEintraege(puffer) { let eocd = -1; for (let i = puffer.length - 22; i >= Math.max(0, puffer.length - 66000); i--) { if (puffer.readUInt32LE(i) === 0x06054b50) { eocd = i; break; } } if (eocd < 0) throw new Error('Keine ZIP-Datei'); const anzahl = puffer.readUInt16LE(eocd + 10); let pos = puffer.readUInt32LE(eocd + 16); const eintraege = new Map(); for (let n = 0; n < anzahl; n++) { if (puffer.readUInt32LE(pos) !== 0x02014b50) throw new Error('ZIP-Verzeichnis beschädigt'); const methode = puffer.readUInt16LE(pos + 10); const komprimiert = puffer.readUInt32LE(pos + 20); const groesse = puffer.readUInt32LE(pos + 24); const nameLaenge = puffer.readUInt16LE(pos + 28); const extra = puffer.readUInt16LE(pos + 30); const kommentar = puffer.readUInt16LE(pos + 32); const lokal = puffer.readUInt32LE(pos + 42); const name = puffer.toString('utf8', pos + 46, pos + 46 + nameLaenge); eintraege.set(name, { methode, komprimiert, groesse, lokal }); pos += 46 + nameLaenge + extra + kommentar; } return eintraege; } function lies(puffer, e) { const start = e.lokal + 30 + puffer.readUInt16LE(e.lokal + 26) + puffer.readUInt16LE(e.lokal + 28); const roh = puffer.subarray(start, start + e.komprimiert); return (e.methode === 8 ? inflateRawSync(roh) : roh).toString('utf8'); } const entity = (s) => s .replace(/&#(\d+);/g, (_, d) => String.fromCodePoint(Number(d))) .replace(/&#x([0-9a-f]+);/gi, (_, h) => String.fromCodePoint(parseInt(h, 16))) .replace(/</g, '<').replace(/>/g, '>').replace(/"/g, '"').replace(/'/g, "'").replace(/&/g, '&'); const textVon = (xml) => entity([...xml.matchAll(/]*)?>([\s\S]*?)<\/t>/g)].map((m) => m[1]).join('')); const zahlText = (w) => { const s = String(w ?? '').trim(); return s.endsWith('.0') ? s.slice(0, -2) : s; }; const puffer = readFileSync(xlsx); const eintraege = zipEintraege(puffer); const texte = []; if (eintraege.has('xl/sharedStrings.xml')) { for (const m of lies(puffer, eintraege.get('xl/sharedStrings.xml')).matchAll(/]*)?(?:\/>|>([\s\S]*?)<\/si>)/g)) { texte.push(m[1] ? textVon(m[1]) : ''); } } const blatt = [...eintraege.entries()] .filter(([n]) => /^xl\/worksheets\/sheet\d+\.xml$/.test(n)) .sort((a, b) => b[1].groesse - a[1].groesse)[0]; const xml = lies(puffer, blatt[1]); const amtlich = new Map(); const gemeindefrei = []; const kennzeichenZahl = {}; for (const zeile of xml.matchAll(/]*>([\s\S]*?)<\/row>/g)) { const werte = {}; for (const c of zeile[1].matchAll(/]*?)(?:\/>|>([\s\S]*?)<\/c>)/g)) { const ref = /\br="([A-Z]+)\d+"/.exec(c[1])?.[1]; if (!ref) continue; const typ = /\bt="(\w+)"/.exec(c[1])?.[1]; const inhalt = c[2] ?? ''; const v = /([\s\S]*?)<\/v>/.exec(inhalt)?.[1]; werte[ref] = typ === 's' && v !== undefined ? texte[Number(v)] : typ === 'inlineStr' ? textVon(inhalt) : entity(v ?? ''); } if (zahlText(werte.A) !== '60') continue; const [land, rb, kreis, gem] = ['C', 'D', 'E', 'G'].map((k) => zahlText(werte[k])); if (!land || !kreis || !gem) continue; const ags = land.padStart(2, '0') + (rb || '0') + kreis.padStart(2, '0') + gem.padStart(3, '0'); // Textkennzeichen laut Gemeindeverzeichnis: 65 und 66 sind gemeindefreie Gebiete, also keine Gemeinden. const kennzeichen = zahlText(werte.B); kennzeichenZahl[kennzeichen] = (kennzeichenZahl[kennzeichen] ?? 0) + 1; if (kennzeichen === '65' || kennzeichen === '66') { gemeindefrei.push({ ags, name: String(werte.H ?? '').trim(), kennzeichen }); continue; } const einwohner = zahlText(werte.J).replace(/\D/g, ''); amtlich.set(ags, { ags, land: ags.slice(0, 2), name: String(werte.H ?? '').trim(), einwohner: einwohner ? Number(einwohner) : null }); } writeFileSync(ziel, [...amtlich.values()].sort((a, b) => a.ags.localeCompare(b.ags)).map((g) => JSON.stringify(g)).join('\n') + '\n'); const wiki = new Map(readFileSync(wikiPfad, 'utf8').trim().split('\n').map((z) => { const g = JSON.parse(z); return [g.ags, g]; })); const nurAmtlich = [...amtlich.keys()].filter((a) => !wiki.has(a)).sort(); const nurWiki = [...wiki.keys()].filter((a) => !amtlich.has(a)).sort(); const treffer = [...amtlich.keys()].filter((a) => wiki.has(a)).sort(); const mitSite = treffer.filter((a) => wiki.get(a).host); const kern = (n) => String(n ?? '').split(',')[0].split('(')[0].toLowerCase().replace(/[^a-zäöüß]/g, ''); const abweichend = treffer.filter((a) => kern(amtlich.get(a).name) !== kern(wiki.get(a).name)); const laender = {}; const fach = (a) => (laender[a.slice(0, 2)] ??= { amtlich: 0, wikidata: 0, treffer: 0, mitWebsite: 0 }); for (const a of amtlich.keys()) fach(a).amtlich++; for (const a of wiki.keys()) fach(a).wikidata++; for (const a of treffer) fach(a).treffer++; for (const a of mitSite) fach(a).mitWebsite++; const summe = (liste) => liste.reduce((s, a) => s + (amtlich.get(a).einwohner ?? 0), 0); const einwohnerGesamt = summe([...amtlich.keys()]); const ergebnis = { blatt: blatt[0], amtlich: amtlich.size, gemeindefreieGebiete: gemeindefrei.length, kennzeichen: kennzeichenZahl, wikidata: wiki.size, treffer: treffer.length, mitWebsite: mitSite.length, abdeckungGemeindenProzent: amtlich.size ? Number((100 * mitSite.length / amtlich.size).toFixed(2)) : null, einwohnerGesamt, abdeckungEinwohnerProzent: einwohnerGesamt ? Number((100 * summe(mitSite) / einwohnerGesamt).toFixed(2)) : null, nurAmtlich: nurAmtlich.map((a) => ({ ags: a, name: amtlich.get(a).name })), nurWikidata: nurWiki.map((a) => ({ ags: a, name: wiki.get(a).name })), nameAbweichend: abweichend.map((a) => ({ ags: a, amtlich: amtlich.get(a).name, wikidata: wiki.get(a).name })), laender: Object.fromEntries(Object.entries(laender).sort()), }; writeFileSync(abgleichPfad, JSON.stringify(ergebnis, null, 1)); const { nurAmtlich: a, nurWikidata: b, nameAbweichend: c, laender: l, ...kopf } = ergebnis; console.log(JSON.stringify(kopf)); console.log('nur amtlich:', a.length, a.slice(0, 8).map((g) => g.name).join('; ')); console.log('nur Wikidata:', b.length, b.slice(0, 8).map((g) => g.name).join('; ')); console.log('Name abweichend:', c.length, c.slice(0, 5).map((g) => `${g.amtlich} / ${g.wikidata}`).join('; ')); for (const [k, w] of Object.entries(l)) console.log(k, JSON.stringify(w));