// Führt Gemeindeliste, Startseiten-Prüfung und DNS-Messung zu einer Zeile je amtlicher Gemeinde zusammen. // Ergebnis: daten/gemeinden-hosting.jsonl, daten/ips-rdap.txt, daten/hosts-ziel.txt import { existsSync, readFileSync, writeFileSync } from 'node:fs'; import { dirname, join } from 'node:path'; import { fileURLToPath } from 'node:url'; const hier = dirname(fileURLToPath(import.meta.url)); const pfad = (d) => join(hier, 'daten', d); const jsonl = (d) => (existsSync(pfad(d)) ? readFileSync(pfad(d), 'utf8').trim().split('\n').filter(Boolean).map((z) => JSON.parse(z)) : []); const start = new Map(jsonl('startseiten.jsonl').map((z) => [z.host, z])); const nach = new Map(jsonl('nachpruefung.jsonl').map((z) => [z.host, z])); const mess = new Map(); for (const d of ['messung-voll.jsonl', 'messung-nach.jsonl', 'messung-final.jsonl', 'messung-ziel.jsonl', 'messung-korrektur.jsonl', 'messung-korrektur2.jsonl']) for (const m of jsonl(d)) mess.set(m.host, m); const asNamen = {}; for (const d of ['as-namen-voll.json', 'as-namen-nach.json', 'as-namen-final.json', 'as-namen-ziel.json', 'as-namen-korrektur.json', 'as-namen-korrektur2.json', 'as-namen-netzkorrektur.json']) if (existsSync(pfad(d))) Object.assign(asNamen, JSON.parse(readFileSync(pfad(d), 'utf8'))); writeFileSync(pfad('as-namen.json'), JSON.stringify(asNamen, null, 1)); const klar = (z) => z?.status === 200 && z.nameTreffer > 0 && z.kommunal && !z.parkverdacht; const PARK_NETZE = new Set(['154653', '133618']); // Weiterleitungen auf Enzyklopädien, Verzeichnisse oder soziale Netzwerke sind keine Gemeindeseite. const FREMDZIEL = /(^|\.)(wikipedia\.org|wikimedia\.org|wikivoyage\.org|wikidata\.org|facebook\.com|instagram\.com|openstreetmap\.org|opengeodb\.de)$/i; const ipNetze = existsSync(pfad('ip-netze.json')) ? JSON.parse(readFileSync(pfad('ip-netze.json'), 'utf8')) : {}; // Eine Park- oder Standardseite unter der Adresse ist keine bestätigte Website, auch wenn eine Liste die Adresse nennt. const PARK_TITEL = /domainpark|default page|domain (is )?for sale|domain zu verkaufen|parked/i; const einzel = new Map(existsSync(pfad('einzelpruefung/final.json')) ? JSON.parse(readFileSync(pfad('einzelpruefung/final.json'), 'utf8')).map((u) => [u.host, u]) : []); // Einzelne Ausschlüsse aus der Abnahme stehen in einer nicht veröffentlichten Datei. const ausschluesse = new Set(existsSync(pfad('einzelpruefung/ausschluesse.json')) ? JSON.parse(readFileSync(pfad('einzelpruefung/ausschluesse.json'), 'utf8')) : []); const ohneWww = (h) => String(h).toLowerCase().replace(/^www\./, ''); const belegHost = (u) => { try { return new URL(u).hostname; } catch { return null; } }; const fehlend = new Set(); const zeilen = jsonl('universum.jsonl').map((g) => { const s = start.get(g.host); const n = nach.get(g.host); // Die Einzelprüfung geht dem automatischen Filter vor. const vorlaeufig = g.einzelurteil ? (g.einzelurteil.startsWith('offiziell') ? 'bestaetigt' : g.einzelurteil) : klar(s) ? 'bestaetigt' : n?.klasse ?? 'nicht_pruefbar'; const ziel = (klar(s) ? s.finalHost : n?.zielHost ?? s?.finalHost) ?? g.host; if (!mess.has(ziel)) fehlend.add(ziel); const m = mess.get(ziel)?.status === 'ok' ? mess.get(ziel) : mess.get(g.host); const netz = (m?.netz ?? []).map((x) => ({ ...x, ...(ipNetze[x.ip] ?? {}) })).filter((x) => x.asn); const erstes = netz[0] ?? null; // Adressen in Netzen von Domain-Parkdiensten sind keine laufende Gemeindeseite. const parkSeite = Boolean(s?.parkverdacht && !s.kommunal && PARK_TITEL.test(s.titel ?? '')); // Bei per robots.txt gesperrten Adressen zählt nur ein Beleg von einer anderen, amtlichen Stelle. const gesperrt = Boolean(s?.robotsGesperrt || n?.klasse === 'robots'); const beleg = belegHost(einzel.get(g.host)?.beleg_url); const schwacherBeleg = gesperrt && String(g.einzelurteil ?? '').startsWith('offiziell') && beleg && (ohneWww(beleg) === ohneWww(g.host) || /(^|\.)presseportal\.de$/i.test(beleg)); const inhalt = vorlaeufig !== 'bestaetigt' ? vorlaeufig : FREMDZIEL.test(ziel) ? 'nicht_offiziell' : PARK_NETZE.has(String(erstes?.asn)) || parkSeite || schwacherBeleg || ausschluesse.has(g.ags) ? 'nicht_entscheidbar' : vorlaeufig; return { ags: g.ags, land: g.land, name: g.name, einwohner: g.einwohner, host: g.host, ziel, quelle: g.quelle, art: g.art, inhalt, einzelurteil: g.einzelurteil ?? null, gesperrt, dns: m?.status ?? 'fehlt', ip: erstes?.ip ?? null, asn: erstes?.asn ?? null, prefix: erstes?.prefix ?? null, alleAsn: [...new Set(netz.map((x) => x.asn))], ipv6: Boolean(m?.aaaa?.length), cname: m?.cname ?? [], zone: m?.zone ?? null, nsAsn: [...new Set((m?.ns ?? []).map((x) => ipNetze[x.ip]?.asn ?? x.asn).filter(Boolean))], ns: (m?.ns ?? []).map((x) => x.ns), https: klar(s) ? s.https : n?.zielUrl?.startsWith('https:') ?? s?.https ?? null, tlsOk: s?.tlsOk ?? null, cdnKoepfe: s?.cdnKoepfe ?? [], }; }); writeFileSync(pfad('gemeinden-hosting.jsonl'), `${zeilen.map((z) => JSON.stringify(z)).join('\n')}\n`); writeFileSync(pfad('hosts-ziel.txt'), `${[...fehlend].sort().join('\n')}\n`); const ips = new Map(); for (const z of zeilen) if (z.ip && z.prefix && !ips.has(z.prefix)) ips.set(z.prefix, z.ip); writeFileSync(pfad('ips-rdap.txt'), `${[...ips.values()].join('\n')}\n`); const zaehl = (f) => { const o = {}; for (const z of zeilen) { const k = f(z); o[k] = (o[k] ?? 0) + 1; } return o; }; const best = zeilen.filter((z) => z.inhalt === 'bestaetigt'); const summe = (l) => l.reduce((s, z) => s + (z.einwohner ?? 0), 0); console.log(JSON.stringify({ gemeinden: zeilen.length, inhalt: zaehl((z) => z.inhalt), dns: zaehl((z) => z.dns), zieleOhneMessung: fehlend.size, bestaetigt: best.length, bestaetigtProzent: Number((100 * best.length / zeilen.length).toFixed(2)), einwohnerBestaetigtProzent: Number((100 * summe(best) / summe(zeilen)).toFixed(2)), bestaetigtOhneAsn: best.filter((z) => !z.asn).length, netzeBestaetigt: new Set(best.map((z) => z.asn).filter(Boolean)).size, praefixe: ips.size, }));