Intern gyldighet. Det er erfarne navigatører med til dels omfattende erfaring fra ulike fartøysklasser som er intervjuet.. Alle respondentene kunne svare utfyllende på spørsmålene. I de innledende undersøkelsene diskuterte vi oppgavetematikken med enkelte navigatører som verken kunne vise til tilsvarende praktisk erfaring eller detaljkunnskap om Terrest som utvalget av respondentene i undersøkelsen kunne. Dette tyder på at respondentene passer til undersøkelsens tema, og at respondentenes kompetanse er med å styrke den interne gyldigheten (Xxxxxxxx 2005, 216). En annen faktor som er viktig for den interne gyldigheten er å vurdere hvorvidt respondentene gir fra seg riktig informasjon. I intervjuene er resultatene for det aller meste førstehåndskildeinformasjon. Alle respondentene har i tråd med sin erfaring en nærhet til temaet i undersøkelsen. I enkelte tilfeller refereres det til andrehåndskilder, slik som andres opplevelser med Terrest. Generelt vil førstehåndsinformasjon gi riktigere resultat og styrke den interne gyldigheten (Xxxxxxxx 2005, 217). Det er ikke kommet fram informasjon under undersøkelsen som tyder på at respondentene ville være tjent med å svare uriktig på spørsmålene i intervjuet. På bakgrunn av ovennevnte argumenter vurderes intern gyldighet som god.
Intern gyldighet. Det er særlig to aspekter som er viktige å ta med i en vurdering av den interne gyldigheten i den valgte metoden. Det første er i hvilken grad det blir avdekket all brukervennlighetsproblematikk i Terrest. Det andre er hvorvidt anvendelsen av teorien i evaluereringen av brukervennligheten er korrekt. Xxxxxxx og Xxxxxx diskuterer hvor mange «testere» som må til for å finne et gitt antall mangler i brukergrensesnitt og hvilken bakgrunn de vanligvis har, og de har kommet frem til at det er ønskelig med tre til fem personer for å evaluere brukergrensesnittet (Xxxxxxx og Molich 1990, 2). De mener også at en enkelt testperson bare vil finne 35% av brukervennlighetsproblemene. I denne oppgaven er det to testpersoner, for dette anslås det at rundt 50% av brukervennlighetsproblematikken vil avdekkes (Xxxxxxx 1995). En kan altså forvente at viktig brukervennlighetsproblematikk vil bli oversett i simulatorundersøkelsene. På den annen side kan resultater fra intervju og tilgang på NavKomp sin evaluering av Terrest brukes slik at en større andel av brukervennlighetsproblematikken blir avdekket. Forsøkene er utført på en måte som i størst mulig grad kompenserer for få antall testere. Derfor ble undersøkelsene gjennomført separat før resultatene ble sammenlignet. Dette kan bidra til at flere funn blir avdekket ettersom testpersonene ikke kan la seg påvirke av hverandre underveis i undersøkelsen. Når det kommer til anvendelsen av teori er det vanskelig å vurdere om den er korrekt. En ekspert på brukervennlighet vil ha betydelig bedre kjennskap til teori og hvordan denne kan anvendes. En fordel i denne sammenheng er vår kunnskap innenfor navigasjon, som ville tatt lang tid for en brukervennlighetsekspert å orientere seg om. Med forbehold om at teorien anvendes korrekt skal resultatene fra undersøkelsene bli riktig. Det er likevel lite sannsynlig at disse forsøkene finner mer enn 50% av brukervennlighetsproblematikken og dermed forbedringsmulighetene i Terrest. For de funnene vi gjør mener vi den interne gyldigheten er tilfredsstillende for å brukes i oppgaven. De første undersøkelsene ble gjennomført på en eldre versjon av K-bridge, mens siste delen av forsøket ble gjort på K-bridge versjon 8. Dette ble gjort for å sjekke om vi fant de samme brukervennlighetsutfordringene i den nye versjonen. Dette påvirker gyldighet fordi det kan være endringer i versjonene som ikke er beskrevet i oppgaven og som påvirker forsøkene uten at det blir avdekket. På en annen side vil forskjell...
Intern gyldighet. Spørsmålet om intern gyldighet oppstår når man skal bestemme kausalitet når to variabler kovarierer, samt hvilken retning kausaliteten fungerer (Cook & Xxxxxxxx, 1979, s. 50). Eksempelvis: er det A som fører til B eller omvendt, eller finnes det en annen variabel C som fører til B? Intern gyldighet kan også omhandle hvorvidt vi har dekning i våre data for de konklusjonene vi trekker (Xxxxxxxx, 2010, s. 19). I henhold til fremgangsmåten beskrevet i kapittel 3.5 har vi innført en behandling hos eksperimentgruppen i form av en prosedyre. Når det kommer til intern gyldighet blir det da essensielt å drøfte resultatene etter behandlingen på grunnlag av at det kan være andre faktorer som fører til endret atferd i utvalget. Vi ønsker å redegjøre for de mest relevante formene for trusler mot intern validitet. Over tid kan problemet rundt modning (på engelsk: Maturation) oppstå. En observert endring eller effekt kan komme som et resultat av at respondenter i utvalget modnes, blir mer erfaren, smartere osv. i tiden mellom Observasjon 1 og Observasjon 2. Det blir da vanskeligere å peke hva som egentlig forårsaker endringen (Xxxx & Xxxxxxxx, 1979, s. 52). En annen trussel er instrumentering (på engelsk: Instrumentation). En observert effekt kan være forårsaket av instrument/måleenhet man bruker i O1 og O2. Dette dreier seg også om at menneskene som bruker måleinstrumentene blir mer erfaren med utstyret i løpet av forsøksperioden (Xxxx & Xxxxxxxx, 1979, s. 52). Et eksempel for vår del vil være bruken av programvare som innsamlingsverktøy, noe som drøftes ytterligere i kapittel 4 og 5. Når to forskjellige grupper mottar en behandling oppstår trusselen rundt seleksjon (på engelsk: Selection). En observert effekt kan skyldes forskjeller innad gruppen og ikke nødvendigvis som følge av behandlingen som gis (Xxxx & Xxxxxxxx, 1979, s. 53). Tvetydighet (på engelsk: Ambiguity) omkring kausalitet kan også påvirke intern gyldighet. Denne trusselen oppstår når tredjeparts-variabler utelukkes og det blir uklart om f.eks. A forårsaker B eller B forårsaker A. Usikkerhet oppstår da omkring hva som forårsaker hva (Xxxx & Xxxxxxxx, 1979, s. 53) Estimering av intern validitet er en nøysom prosess som krever at forsøkspersonell hele tiden systematisk gjennomgår og vurderer innsamlet data. Når det er gjort kan en begynne å eliminere faktorer i den hensikt å konkludere med graden av kausalitet i forsøket (Xxxx & Xxxxxxxx, 1979, s. 55)