Bedømmelse og jury til et AI hackathon: kriterier, skema og priser

Et AI hackathon bedømmes bedst af en jury på tre til fem personer, der giver point på en fast skala ud fra kriterier, som deltagerne har kendt fra starten. Vi bruger fire hovedkriterier: forretningsværdi, demonstration, realiserbarhed og nyhedsværdi. Bedømmelsen skal ikke kun finde en vinder. Den skal også pege på, hvilke prototyper der er værd at arbejde videre med.

Her er skemaet, pointskalaen, sammensætningen af juryen og de priser, vi har set virke på 120+ hackathons.

Hvorfor er bedømmelsen vigtig?

Kriterierne styrer, hvad holdene bygger. Belønner I det mest imponerende, får I flotte præsentationer. Belønner I forretningsværdi og realiserbarhed, får I prototyper, som nogen vil bruge. Derfor skal kriterierne besluttes i planlægningen og fortælles ved velkomsten, ikke opfindes undervejs.

Hvilke kriterier skal I bruge?

Kriterium	Vægt	Spørgsmål juryen stiller
Forretningsværdi	35%	Løser prototypen et reelt problem for bestemte brugere, og kan effekten måles?
Demonstration	25%	Kørte prototypen foran publikum med realistiske data?
Realiserbarhed	20%	Kan den afprøves med rigtige brugere inden for 90 dage med de værktøjer og data, I har?
Nyhedsværdi	20%	Er tilgangen ny i forhold til det, I gør i dag?

Vægtningen kan justeres efter formålet. Er hackathonet især en øvelse i at lære AI, kan I give mere vægt til læring og mindre til forretningsværdi. Er formålet at finde noget til drift, kan realiserbarhed vægte mere.

Tre spørgsmål, der skiller de gode fra de bedste

Ud over hovedkriterierne beder vi juryen se efter tre ting, som ofte afgør, om en prototype overlever:

• Menneskelig kontrol. Er det tydeligt, hvor et menneske skal godkende, rette eller beslutte?
• Genbrug. Kan andre afdelinger bruge løsningen eller fremgangsmåden?
• Læring. Har holdet lært noget, organisationen kan bruge, også selv om prototypen ikke virkede helt?

Hvordan ser pointskalaen ud?

Giv point fra 1 til 5 for hvert kriterium. En kort beskrivelse af hvert trin gør juryens point mere ens:

Point	Betydning
1	Ikke vist eller ikke sandsynliggjort
2	Antydet, men uklart
3	Vist og sandsynligt
4	Vist overbevisende med realistiske data
5	Vist overbevisende, og ejeren vil gå videre med det samme

Gang pointene med vægten og læg sammen. Er to hold lige, afgør forretningsværdi.

Hvem skal sidde i juryen?

Tre til fem personer med forskellig baggrund. Et godt panel består af:

• en leder, der kan beslutte, hvad der skal ske bagefter
• en eller flere udfordringsejere, der kender problemet indefra
• en person med teknisk eller IT-mæssig indsigt, der kan vurdere realiserbarhed
• gerne en ekstern person, fx en kunde eller samarbejdspartner, der ser det udefra.

Lad ikke én person, fx den øverste leder, vælge vinderen alene. Det skaber tvivl om afgørelsen og gør det sværere for de andre hold at acceptere den.

Sådan forløber bedømmelsen

1. Brief juryen før dagen. Gennemgå kriterier, skala og tidsplan.
2. Kalibrér ved første præsentation. Juryen giver point hver for sig og sammenligner kort. Er der store forskelle, tal om hvorfor, før næste hold går på.
3. Giv point lige efter hver præsentation. Hukommelsen bliver hurtigt farvet af de sidste hold.
4. Saml pointene og drøft de tre bedste. Pointene giver en rangering. Drøftelsen sikrer, at juryen kan stå inde for den.
5. Giv hvert hold en kort tilbagemelding. Én ting, der virkede, og én ting, de kan arbejde videre med.

Præsentationerne følger typisk formatet i guiden til facilitering af AI hackathons: problem, løsning, demonstration og næste skridt på cirka fem minutter plus spørgsmål.

Hvordan sikrer I en retfærdig bedømmelse?

• Offentliggør kriterierne på forhånd. Ved velkomsten og på væggen.
• Undgå færdige løsninger. Gør det klart, at prototyper bygges på dagen. Forarbejde i form af data og idéer er fint.
• Ens tid til alle. Hold tiden stramt, også for det hold, ledelsen holder med.
• Inhabilitet. Er et jurymedlem leder for et af holdene, så lad en anden give point til netop det hold.

Skal I give priser?

Priser kan løfte energien, men de skal bruges med omtanke. Kontante præmier kan flytte fokus fra samarbejde til konkurrence, og for mange priser mister deres værdi. Det bedste vi har set, er priser, der peger på det, organisationen gerne vil have mere af:

• mest nyttige løsning for kolleger
• størst værdi for kunderne
• bedste samarbejde på tværs af afdelinger
• mest modige forsøg
• bedste læring fra noget, der ikke virkede
• mest lovende til videre udvikling
• bedst egnet til genbrug i andre afdelinger.

Den største præmie er ofte den, der koster mindst: at vinderholdet får tid og støtte til at føre prototypen videre. Hvordan det gøres, står i artiklen efter AI hackathonet: fra idé til pilot.

Kan publikum stemme?

Ja, som et supplement. En publikumspris giver energi og inddrager dem, der ikke sidder i juryen. Men lad den være en pris for sig. Lader I publikumsstemmer indgå i den samlede bedømmelse, vinder det hold, der har flest kolleger i salen.

Bedømmelsesskema til print

Kopiér skemaet og giv ét til hvert jurymedlem pr. hold:

Hold: ________________   Udfordring: ________________

Forretningsværdi (x 0,35)   1  2  3  4  5
Demonstration    (x 0,25)   1  2  3  4  5
Realiserbarhed   (x 0,20)   1  2  3  4  5
Nyhedsværdi      (x 0,20)   1  2  3  4  5

Menneskelig kontrol tydelig?   Ja / Delvist / Nej
Kan genbruges andre steder?    Ja / Delvist / Nej

Det bedste ved prototypen:
Det holdet bør arbejde videre med: