Mijn avontuur bij Microsoft

Op de blog had ik al gepost dat ik als ‘Subject Matter Expert’ uit ben genodigd bij Microsoft. Dit is inmiddels achter de rug, dus hoogste tijd om te vertellen hoe het is gegaan. Naast informatie over examen ontwikkeling tevens een impressie van de Microsoft campus. Op de blog had ik al gepost dat ik als ‘Subject Matter Expert’ uit ben genodigd bij Microsoft. Dit is inmiddels achter de rug, dus hoogste tijd om te vertellen hoe het is gegaan. Naast informatie over examen ontwikkeling tevens een impressie van de Microsoft campus. Examen ontwikkeling De eerste vraag die opkomt is; ‘Waarom word ik betrokken bij het ontwikkelen van examens aangezien er bij Microsoft toch alle kennis aanwezig dient te zijn om een examen te kunnen maken?’ Het antwoord was duidelijk: Het examen moet aansluiten bij hoe de technologie in de praktijk gebruikt wordt en dat kan afwijken van de gedachten van Microsoft. Een andere reden is dat de Microsoft medewerkers met kennis van zake zijn de mensen die aan het product werken. Waarschijnlijk hebben zij dus een voorkeur voor het stuk waar ze aan gewerkt hebben en dan zou je dus geen goed evenredig beeld krijgen. Ondanks dat er behoorlijk interessant nieuws is over de examens die er gaan komen, mag ik inhoudelijk helaas niet veel zeggen. Daarvoor heb ik een aantal contracten moeten tekenen. Het proces van het examen ontwikkeling mag ik wel uit de doeken doen. Er zijn 7 fases: 1. Objective domain definition -job task analysis- Aan Subject matter experts -SME’s- wordt gevraagd welke taken een gecertificeerd persoon zou moeten kunnen uitvoeren. Vervolgens wordt bekeken welke kennis bij deze taken hoort. Feitelijk wordt op dit punt de “Skills measured”-lijst samengesteld, die je terug vindt op microsoft.com/learning bij alle examens. Naast de verschillende taken, dus ook alles onder “this may include, but is not limited to:”. Dit proces is nog best lastig, want bij elke taak moet je bedenken of er in een volgende fase wel voldoende vragen over te bedenken zijn. Het moet dus ook altijd testbaar zijn en bij zaken als “begrijpen dat” of “kunnen uitleggen dat” gaat dat bijna niet. Ook heb je natuurlijk te maken met andere SME’s en die kunnen een andere mening hebben. Interessante discussies en compromissen dus, maar uiteindelijk komt er wel iets moois uit. 2. Blueprint survey Vervolgens wordt de opgestelde lijst voorgelegd aan anderen met kennis van zake. In een enquête wordt gevraagd hoe vaak de verschillende taken uitgevoerd worden en hoe belangrijk ze zijn. Aan de hand van deze enquête wordt bepaald of er nog onderwerpen geschrapt moeten worden, of toch worden toegevoegd. Daarnaast wordt de zwaarte van de onderdelen in het examen vervolgens hier bepaald. 3. Item development Nu bekend is wat en hoeveel er in het examen moet komen, kunnen de vragen gemaakt worden. Ook dit gebeurt door SME’s. De vragen moeten voldoen aan het volgende:

• Technisch correct
• Duidelijk, relevant en ondubbelzinnig
• Geen instinkers
• Bedoeld zijn om kennis te testen en geen zinloze feitjes

Eerlijkheid gebiedt te zeggen dat ze daar in het verleden niet altijd even goed in geslaagd zijn. Maar bij de laatste examens die ik gedaan heb, leek het wel een stuk beter te zijn. 4. Alpha review and item revision De examenvragen worden bekeken en beoordeeld door een andere groep personen. De vragen die goedgekeurd zijn vormen het beta examen. 5. Beta exam Een beta examen is eigenlijk een gewoon examen. Je kunt een beta examen doen bij een normaal testing-center zoals Master-it en als je slaagt, krijg je ook de bijbehorende certificering. Wel zijn er een aantal verschillen: Het examen is gratis -via een kortingscode-, je krijgt over het algemeen meer vragen omdat ze alle vragen willen bekijken hoe ze functioneren in het examen en je krijgt de uitslag niet direct -maar pas na een paar maanden-. Dit heeft namelijk te maken met de volgende fase. 6. Item selection and cut-score setting De antwoorden op de vragen van de beta examens worden geanalyseerd. Bekeken wordt of de vragen correct waren, welke vragen te makkelijk, welke te moeilijk waren en of ze voldoende onderscheidt maken tussen de doelgroep en mensen met te weinig kennis. Daarnaast wordt bepaald hoeveel punten elke vraag waard is. Uiteindelijk zal er dus een groep vragen overblijven die het uiteindelijke examen zal vormen. Op dat moment kunnen ze dus bepalen of je die vragen in het beta examen voldoende beantwoord hebt. 7. Live exam Het examen wordt wereldwijd beschikbaar gesteld Training ontwikkeling De ontwikkeling van trainingen begint ook al vanaf de eerste fase. Naar aanleiding van de taken die het examen vormen, wordt bekeken welke zaken er getraind moeten worden. Dit proces wordt gedaan door medewerkers van Microsoft, maar wel met input van SME’s. Zij weten immers hoe de taken uitgevoerd dienen te worden. Overigens is het niet zo dat de training bedacht wordt naar aanleiding van de examenvragen of dat de examenvragen bepaald worden naar aanleiding van de training. Er wordt dus gekeken naar de taken en niet naar de vragen. Vandaar dat er nog wel eens een aardig hiaat kan zijn. Maar de training en het examen zullen over het algemeen wel dezelfde doelgroep hebben. Daarnaast is het examen erop gericht om de gevorderden te kunnen onderscheiden van de personen met -te- weinig kennis. Daarom zitten er ook vragen tussen met duidelijk een hogere moeilijkheidsgraad die je niet in een training terug vindt. Dit proces is ook beschreven op de website van Microsoft Learning. Op de Microsoft campus De campus is al een belevenis op zich. In eerste instantie valt het niet zo op, maar het is echt gigantisch groot! Ik vroeg me af waarom er overal “Microsoft connect” auto’s en busjes rond reden, maar toen ik op internet zag hoe groot het eigenlijk was… ja, dat is ook nauwelijks te belopen. Ook mooi om te zien is dat alles Microsoft branded is. Je kunt het zo gek niet bedenken of er staat wel Microsoft op. Hieronder enkele voorbeelden: En zelfs de brievenbus is schitterend!  Food @ Microsoft Amerikanen vinden eten nogal belangrijk en vooral de kwantiteit en de snelheid zijn daarbij van belang. We werden dan ook goed verzorgd. Naast donuts -“best of the country” volgens ingewijden- en een ijsje op zijn tijd, moest er ook nog geluncht worden. Echter was de dichtstbijzijnde kantine gesloten voor renovatie. Microsoft heeft daar uiteraard een “Service” voor: De Microsoft Dining Services die er een tijdelijke kantine uit de grond stampen. Maar vanwege de verminderde capaciteit worden er ook “Foodtrucks” besteld. Daarnaast heb je ook de optie om iets verder te lopen naar een andere kantine. Een stukje lopen is wel lekker na een ochtend hard brainstormen, dus dat was de beste optie. Microsoft weet dat de liefde van de man door de maag gaat, dus ook de lunch is goed verzorgd. Een echte “Food-court” met zo’n 10 verschillende keukentjes waar je terecht kunt voor alles van pizza tot aan wok en van hamburger tot Subway. Scott Guthrie Hoe groot is de kans dat wanneer je op een campus rond loopt met tienduizenden mensen en vele tientallen gebouwen, dat je een grootheid tegenkomt? Blijkbaar 100%! ;– Aan de balie van één van de Starbucks counters kwam ik Scott Guthrie tegen. -Voor de zekerheid: Corporate Vice President; hij gaat over Visual Studio, ASP.NET en Windows Azure.- Toch effe een handje geschud en 3 zinnetjes met “How are you” uitgewisseld, maar toch leuk! Tot Slot Het was een ervaring om nooit te vergeten, loodzwaar en ook nog leerzaam tegelijkertijd. Dus mocht je ooit de kans hebben om als ‘Subject Matter Expert’ naar Redmond te gaan -en ik zou niet kunnen-, grijp de kans dan met beide handen aan!