Driftsrapport/H2023: Difference between revisions

From Programvareverkstedet
(Created page with "= Driftsrapport H2023 = == Vedlikehold == * Oppdaterte til NixOS 23.11 * Reduserte buss-faktor i wikien * Øystein rydda på terminalrommet ble pent! ** Og kom med laptop do...")
 
No edit summary
 
Line 58: Line 58:
* WackCTF i sammarbeid med PVV og THILDE
* WackCTF i sammarbeid med PVV og THILDE
** PVV stod for en boks å kjøre CTFd på, og en ubrukt server ble brukt til å kjøre hundrevis av sjakk-roboter
** PVV stod for en boks å kjøre CTFd på, og en ubrukt server ble brukt til å kjøre hundrevis av sjakk-roboter
[[File:Pulse.webp]]


== Tjenester ==
== Tjenester ==
Line 110: Line 111:
* Vi ble kvitt Monty, Dash8, Knakelibrak og Skrotnisse. Alle arbeidsoppgavene deres er enten avviklet eller migrert til nyere bokser.
* Vi ble kvitt Monty, Dash8, Knakelibrak og Skrotnisse. Alle arbeidsoppgavene deres er enten avviklet eller migrert til nyere bokser.
* Backupserveren vår ligger inaktiv!
* Backupserveren vår ligger inaktiv!
* ![pulkserver](https://matrix.dodsorf.as/_matrix/media/v3/download/dodsorf.as/kgpEJTyRiXYQtyzEJsrISHLi)
 
[[File:Image_1490o.jpg|200px]]





Latest revision as of 21:49, 16 March 2024

Driftsrapport H2023

Vedlikehold

  • Oppdaterte til NixOS 23.11
  • Reduserte buss-faktor i wikien
  • Øystein rydda på terminalrommet ble pent!
    • Og kom med laptop doc ved eirin
    • laptop adapter ved demiurgen fra Adrian.
    • Stor oppgradering

Dokumentasjon

  • Eirik har jobbet iherdig med å dokumentere både gamle og nye maskiner. Og ryddet masse! Ta gjerne en titt på https://www.pvv.ntnu.no/pvv/Maskiner
  • Øystein tok bilder av serverene våre

Nixifisering

  • gregorz klientene (georg og brzeczyszczykiewicz) ble flyttet til samme repo som resten av maskinene våre
  • bekkalokk har tatt over for knak som ingresspunkt.
    • Knakelibrak har fått gå av med pensjon (endelig)
      • Den hadde 250MB ram!
  • Øystein prøver å pakke kerberos i nixpkgs

Matrix

  • Vi prøvde å pakke en ny discord-bro
    • Kaninhull
    • Den trigger et edgecase i npm-infrastrukturen til nixpkgs
  • Man kan logge inn direkte ved å skrive PVV brukernavn og passord
    • Det betyr at man kan gå inn på "hvilken som helst" matrix-klient og skrive `@<pvv-brukernavn>:pvv.ntnu.no` og PVV passordet sitt, det burde funke. Uten å måtte finne custom server eller lignende.
  • En sliding sync proxy er satt opp
  • De to punktene over gjør det mulig for PVV-brukere å bruke ElementX
  • TURNserveren vår funker ikke for tiden.

Incidents

  • Noen skrudde av VPN gatewayet vårt til stor forvirring
  • Strømbrudd, hvor en stakkars switch døde
  • SSL sertifikatene våre gikk ut over jul
    • Oops
    • Vi vil ha ACME!
  • Vi måtte ta ned en bruker's hjemmeområde da NTNU fikk mail fra som om et kopibeskyttelsesvarsel. Og det var en del annet litt-på-kanten innhold.
    • Vi har kontaktet brukeren det gjelder
    • Om vi ikke får noe svar må vi finne ut av hvordan vi skal filtrere, og få publisert det igjen.
    • kort tid etter det ble avpublisert kom det en forespørsel på discord om et dokument som lå der, så det kan være en del lenker vi ikke nødvendigvis vil la dø.

Sikkerhet

  • Vi kjører fortsatt gammel PHP
    • Dette er blokkert på auth på moderne mediawiki og SimpleSAML
  • glibc vuln
    • Vi var defintivt sårbare (som alle andre), så hvilken som helst av brukerne våre _kan_ ha fått rotprivileger.
    • nixos maskinene våre (som ikke har tusenvis av brukere på seg) ble nok ikke berørt. En mitigation i nixos ble også deployet samme dag.
    • Debian fikset det også raskt, så hvis auto-oppdateringene funker så skal det være good
      • Vi har mindre innblikk i dette enn vi gjerne vil.


Events

  • WackCTF i sammarbeid med PVV og THILDE
    • PVV stod for en boks å kjøre CTFd på, og en ubrukt server ble brukt til å kjøre hundrevis av sjakk-roboter

Tjenester

  • gitean vår fikk CI
    • Mindre brukbart enn github actions siden de ikke er VMer men docker containere
      • vi kan f.eks. ikke bruke dem til å pre-bygge maskinene våre sentralt...


NTNU IT

  • Møte med NTNU IT sammen med andre 2023-10-06
    • Med Anders Christensen, og Dag Nummedal
    • med OV, Omega, Programvarverkstedet, NVG, Hybrida, og Ascend
  • Strategimøter både før og etter
    • Prioriterte løsninger mtp både serverrom og internett
  • Mye frem og tilbake og mye er fortsatt usikkert
  • Oppsumering per dags dato
    • Vi må logge til NTNU sentralt
    • Det er nevnt å måtte ha noe "anti-skadevare"
      • Dette kan bli problematisk
    • Serverene våre må være på et "lab-nett"
      • Dette er egentlig ikke tilgjengelig utenifra
      • Noe form for kopling ut gjennom datasenteret skal være mulig
    • NTNU-IT lar oss ikke være på campus med egen internett-linje
    • NTNU har gitt oss VMer på datasenteret sitt, da mest fordi vi alle trodde VMer kom til å bli eneste måten å drifte tjenestene våre gjennom NTNU
      • Dette ser ut til å kanskje ikke stemme likevel
      • VMene vi har fått er _veldig_ dårlige, og kan ikke brukes til noe nyttig.
      • Dette er "servers of last resort".
      • Vi har:
        • 152 kjerner
        • 340GB RAM
        • ~5801 GB SSD
        • 65.5TB HDD
      • Vi spurte om (etter å enumerere hva kjernetjenestene våre krever)
        • 46 kjerner
        • 66GB RAM
        • 3.5TB SSD
        • 10 TB HDD
      • Vi justerte ned til (og fikk omsider)
        • 1.5TB SSD
        • 4TB HDD
      • Eneste som kjører her er en nix-builder som heter bob, mest som et eksperiment.

Flytting

  • Mange hjalp til!
  • Fikk flyttet alt enten opp til PVVs lokaler eller til racken vår hos OV
  • Vi fant til og med et beist av en maskin, ubrukt, i serverrskapet
    • Donert fra uninett på ukjent tidspunkt (før 2020)
    • Mistet den i en busk
    • Heter nå buskerud
  • Hadde en del trøbbel med å flytte VPNet
    • (det hjelper å plugge inn nettverkskablene)
  • Vi ble kvitt Monty, Dash8, Knakelibrak og Skrotnisse. Alle arbeidsoppgavene deres er enten avviklet eller migrert til nyere bokser.
  • Backupserveren vår ligger inaktiv!


Nytt login-system

i fjor hadde vi et mål om å bytte ut login-systemet vårt

  • Mye eksperimentering
  • kaasen satt opp LDAP på isvegg
    • Fancy perl script som snakker med kerberos
  • Vi satt opp kanidm på en VM som heter shark - men har ikke gjort mye med det.

Fremtiden

  • Få flyttet inn backup serveren vår og få backuper igjen!!
  • Bygge opp metrics / alerts o.l
  • Forberede oss på å kunne miste ipene våre
    • Ny VPN-løsning
  • Konsolidere flere maskiner for å gjøre plass i serverrskapet vårt
  • Fortsette med matrix-serveren vår
  • Nixifisere flere ting.
  • Bygge eget e-voteringssystem
  • Finne en plan for dvask
  • Ny hypervisor (eller iallefall flytte vmer fra Asgore)
  • Nixe flere ting
    • Skrott
    • Nettsiden
  • OpenID-Connect auth!!
  • Nye og flere aktive medlemmer!