// Entfernt mögliche Personennamen aus den RDAP-Daten und baut die Liste der Netze, deren Betreiber belegt werden müssen. // Ergebnis: daten/rdap.jsonl (bereinigt), daten/netze/liste.json, daten/netze/stapel-.json import { mkdirSync, readFileSync, writeFileSync } from 'node:fs'; import { dirname, join } from 'node:path'; import { fileURLToPath } from 'node:url'; const hier = dirname(fileURLToPath(import.meta.url)); const pfad = (d) => join(hier, 'daten', d); const jsonl = (d) => readFileSync(pfad(d), 'utf8').trim().split('\n').filter(Boolean).map((z) => JSON.parse(z)); const STAPEL = 6; // Nur Namen mit erkennbarer Rechtsform oder öffentlicher Trägerschaft bleiben erhalten. const FIRMA = /\b(gmbh|ag|se|kg|kgaa|ohg|ug|e\.?\s?v\.?|inc\.?|llc|ltd\.?|limited|corp\.?|corporation|plc|b\.?v\.?|n\.?v\.?|s\.?a\.?s\.?|s\.?a\.?|s\.?r\.?o\.?|s\.?p\.?a\.?|uab|a\/s|aps|oy|ab|foundation|zweckverband|stadtwerke|landkreis|kreis|stadt|gemeinde|anstalt|universit\w+|hochschule)\b/i; const NETZNAME = /(net|network|host|cloud|cdn|dc|infra|customer|server|shared|colo|ip-?)/i; const rdap = jsonl('rdap.jsonl').map(({ orgHandle, ...z }) => ({ ...z, org: z.org && FIRMA.test(z.org) ? z.org : null, netz: z.netz && NETZNAME.test(z.netz) ? z.netz : null, })); writeFileSync(pfad('rdap.jsonl'), `${rdap.map((z) => JSON.stringify(z)).join('\n')}\n`); const proIp = new Map(rdap.map((z) => [z.ip, z])); const asNamen = JSON.parse(readFileSync(pfad('as-namen.json'), 'utf8')); const alle = jsonl('gemeinden-hosting.jsonl'); const best = alle.filter((z) => z.inhalt === 'bestaetigt'); const ipVonPrefix = new Map(); for (const z of alle) if (z.prefix && !ipVonPrefix.has(z.prefix)) ipVonPrefix.set(z.prefix, z.ip); const netze = new Map(); const fach = (asn) => { if (!netze.has(asn)) netze.set(asn, { asn, as_name: asNamen[asn]?.name ?? null, as_land: asNamen[asn]?.land ?? null, gemeinden_web: 0, gemeinden_dns: 0, firmen_im_netz: new Map() }); return netze.get(asn); }; for (const z of best) { if (z.asn) { const e = fach(z.asn); e.gemeinden_web++; const org = proIp.get(ipVonPrefix.get(z.prefix))?.org; if (org) e.firmen_im_netz.set(org, (e.firmen_im_netz.get(org) ?? 0) + 1); } for (const a of z.nsAsn) fach(a).gemeinden_dns++; } const liste = [...netze.values()] .map((e) => ({ ...e, firmen_im_netz: [...e.firmen_im_netz.entries()].sort((a, b) => b[1] - a[1]).slice(0, 4).map(([name, n]) => ({ name, n })) })) .sort((a, b) => (b.gemeinden_web + b.gemeinden_dns) - (a.gemeinden_web + a.gemeinden_dns)); mkdirSync(pfad('netze'), { recursive: true }); writeFileSync(pfad('netze/liste.json'), JSON.stringify(liste, null, 1)); for (let s = 0; s < STAPEL; s++) writeFileSync(pfad(`netze/stapel-${s + 1}.json`), JSON.stringify(liste.filter((_, i) => i % STAPEL === s), null, 1)); console.log(JSON.stringify({ netze: liste.length, nurWeb: liste.filter((e) => e.gemeinden_web && !e.gemeinden_dns).length, nurDns: liste.filter((e) => !e.gemeinden_web && e.gemeinden_dns).length, ohneNamen: liste.filter((e) => !e.as_name).length, rdapOrgBehalten: rdap.filter((z) => z.org).length, jeStapel: Math.ceil(liste.length / STAPEL) }));