PVV driftsrapport - H2025

Det har vært en livlig sesong tross for at mye har foregått asynkront og online.

Vi tar de dårlige nyhetene™ først

The incident - bicep dør på seg

Rotdisken på bicep døde på seg, sannsynligvis uflaks. Datadiskene overlevde, og vi satt den opp som VM på bubbles
Tok en god stund å få VM-en til å funke - den var noe forringet en stund pga en sleip proxmox brannmur, og den har veldig lite diskplass.

The incident 2 - hele nettet dør på seg

Vi er ikke helt sikker på eksakt årsak
Hele nettet til PVV gikk ned, både på kontoret og på brus.
- vi mistenker at georg og kanskje litt vilkårlig plugging i svitsjene på terminalrommet var gjerningsmannen i en pakkestorm.
- Dette førte til at NTNU IT stengte nettet vårt, rett før de tok helg.
- Mulig de sendte oss en epost om dette, men da var nok mikrobel allerede ganske nettlaus.

Aftershock - isvegg dør på seg

- oysteikt oppdaterte isvegg og prøvde å restarte den.
- isvegg setter seg ofte fast i fastvare-menyen og venter på at noen skal trykke F1 før den fortsetter støvlinga
- Folk var dratt hjem til jul, dette ble ikke fiksa før etter juleferien
- vegardbm tutla ned på serverrommet og fiksa isvegg mandag, 5. januar

Annet rusk

SOC mail om element web og åpent tilgjengelig API nøkkel
- Denne API-nøkkelen kommer med element web, og er ikke noe å bry seg om. Men vi får stadig mail fra tilfeldige folk på nettet som rapporterer den inn i håp om å vinne bug bounty. Kanskje vi skulle prøvd å bake den inn i element på noe slags vis? Får bli neste sesongs problem
SOC mail om åpen SSH nøkkel på tom
- Dette var helt reelt og litt uheldig.
SOC mail om ustetind stått opp av grava
- Ustetind ble sendt tilbake til grava igjen.
Nettet på NTNU sin OpenStack fikk mange porter stengt for trafikk fra Internett til NTNU.

Hold dere fast, for her kommer de gode nyhetene

Hacking

Det har vært mye hacking og produksjonssetting av halvferdige prosjekter denne sesongen.

Selv om hacking ikke offisielt er en del av drift, er det mye av hackinga som også har betydd driftsarbeid. Spesielt prosjektene som kjører på PVV sin infrastruktur.

Roowho2

Roowho2 er en moderne rewrite av diverse verktøy fra netkit-pakka, deriblant finger(1), rwho(1) og ruptime(1).

Den er satt opp på alle nixos-maskinene, og samarbeider fint med eksisterende netkit-verktøy på debian maskinene.

Programvaren kommer med en del nye features som ikke fantes i netkit, deriblant JSON ouput og en server-klient arkitektur som åpner dørene for å kunne bruke finger uten å måtte la hjemmemappa være lesbar av verden.

Planen videre er å installere programvaren på de resterende maskinene, og muligens pakke og publisere programvare mer offisielt.

https://git.pvv.ntnu.no/Projects/roowho2

Minecraft kartdata og bluemap

Minecraft-kartdata er et prosjekt som holder på kartpunkter, togbaner og annen kartdata for PVV's minecraft server.

Den ble fullført og satt i drift for både bluemap og mapcrafter.

I tillegg oppdaterte vi bluemap pakka fra 5.2 til 5.15, og satt opp delvis fungerende HTTP3/QUIC for bluemap på bekkalokk

Muscl

Muscl er en ny erstatning for et gammelt PVV-program som heter mysql-admutils. Det lar vanlige PVV-brukere lage og styre sine egne databaser. Muscl ble pakket og publisert på gitea, og installert på demiurgen, wegonke og isvegg. Den krever en relativt moderne debian distribusjon, som er grunnen til at den ikke ble installert på noen av loginboksene.

Qotd

Quote of the day (QOTD) er et prosjekt som spyr ut vise ord på TCP port 17. Heimbrent programvare, kjører på bekkalokk. Ønsker oss gjerne litt flere vise ord framover.

where-are-my-friends

where-are-my-friends er et pågående prosjekt for å plassere live spillermarkører på minecraftkartet (bluemap). Det ble påbegynt i denne sesongen, men er ikke helt ferdig enda. Fortsatt nevneverdig tror jeg, drift må drifte det på et eller anna tidspunkt i nær fremtid.

Et ferskt pust i dibbler

Dibbler ble kompilert på nytt for første gang på ca. 3 år. Det betyr at vi plutselig fikk 3 års verdt med utesta kode og bugs i dibbler, men dette ble fiksa på etter hvert. Den skal fungere omtrent normalt nå. Dibbler kjører nå på Skrot, en mini-pc som gjør installering av dibbler lettere.

Dokumentasjon

Satt opp nix-topology ved å merge en PR som har blitt hengende en stund, og bygger nå oversiktsdiagrammer over PVV-infra i med gitea CI #45
Skrev en del dokumentasjon for nixos repoet
Oppdaterte tjenestelista på nettsiden
Dokumenterte et par ekstra maskiner på mediawiki
En del repoer har fått dev og prodsetting dokumentasjon

lenke til diagram

Salt og debian drift

La til ny maskin, temmie, for tom-avviklingsutvikling, #72
Oppdaterte nix pakka på alle debian maskiner #180
- Kjører nå nix 2.31.2+1
Arbeid på tom-replacement
Oppdatert salt på alle maskiner, fiksa en hel del feil som dukka opp på cron epostene hver dag. Fortsatt litt som gjenstår.

Matrisen

Satt opp element call
Fiksa OOYE (matrix <-> discord broen), den var nede mellom bicep gikk ned for telling og til den ble satt opp igjen rett før jul.
Satt opp en matrisebot for å sende utviklingsnotifikasjoner fra gitea.
Rydda opp masse gamle matrix discord bridge brukere

Gitea

Oppdaterte gpg-nøkler for gitea, dokumenterte prosessen.
Fiksa problem med at gitea lagrer masse tarballs og zips i /var/cache og fyller opp disken, ble fiksa i en gitea oppdatering
Større ikoner på gitea :3
Oppdaterte docker images tilgjengelig på gitea CI runners, la til ordentlige images for debian og alpine
Restarta lupine-2 og lupine-5, kobla lupine-2 i en svitsjeport som faktisk funker, [#279](https://git.pvv.ntnu.no/Drift/issues/issues/279)
- Svitsjeport 18 på nintendo er sannsynligvis satt opp i et avlukka VLAN.

Backups

Oppdaterte backup scriptet for principal
Henter nå jevnlig backups av nixos maskiner
Henter backups fra de aller fleste Debian og FreeBSD maskiner

Web

Fiksa opp i pvv.org/pvv.ntnu.no domenekrøll på nettsiden. Nå er det ikke lengre trøbbel med å logge inn om du bruker feil domene.
Fika simplesamlphp for nettsiden, nå går det an å utvikle på nettsiden uten å måtte koble deg mot idp.pvv.ntnu.no
Git mirrors gikk ned, men verktøyet var dårlig uansett, vi har begynt utvikling på et heimbrent verktøy. Projects/kagami.
Satt opp alps webmail #205
Dark mode support for mediawiki: #183

Annet

Nytt oppsett for DNS, med ny maskin og sjekking av sonefiler i gitea CI.
Vi er nå på Codeberg: https://codeberg.org/programvareverkstedet, #255
Satt opp ny maskin: gluttony
Oppdaterte og gjorde en hel masse automatisk opprensking i databaser
Oppdaterte proxmox på buskerud
Bedre brannmuring og sandkassing av diverse tjenester
Hadde en breakthrough for heimdal <-> openldap integrasjon, viste seg at det vi lenge trodde var et nixos problem faktisk var et heimdal problem.
Merga pbsds sin fletteforespørsel, grzegorz løyvelister nå hele NTNU-nettet. pvv-nixos-config#99
adriangl startet på flytting av ildkule til den nye stackit sonen, #317. Den mangler foreløpig nett.