Dobrą praktyką jest sprawdzanie informacji w rzetelnych źródłach, na przykład w badaniach naukowych. Problem w tym, że określenie „badanie naukowe” może oznaczać bardzo różne rzeczy.
Za chwilę przyjrzyjmy różnym rodzajom badań naukowych: temu, co mogą nam powiedzieć, czego powiedzieć nie mogą i jak korzystać z nich bez wyciągania zbyt daleko idących (lub po prostu błędnych) wniosków.
Nie każde badanie naukowe jest eksperymentem, choć potocznie te nazwy bywają stosowane zamiennie. Na miano eksperymentu zasługuje tylko takie badanie, w którym badacze dokonują manipulacji wybraną zmienną, jednocześnie kontrolując zmienne zakłócające (inne zmienne, które mogłyby wpłynąć na wynik badania).
PRZYKŁAD EKSPERYMENTU
Solomon Asch: Opinions and Social Pressure, 1955
Przykładem eksperymentu jest klasyczne badanie konformizmu Solomona Ascha z 1955 roku. Zadanie było banalne: uczestnik widział odcinek referencyjny i miał wskazać, który z trzech pozostałych odcinków ma taką samą długość.
Badany nie odpowiadał jednak w samotności. Siedział w grupie, której pozostali członkowie byli współpracownikami badacza, wcześniej poinstruowanymi, jak mają się zachować. Badany odpowiadał pod koniec kolejki, a więc najpierw słyszał odpowiedzi współtowarzyszy. W części prób podstawione osoby jednogłośnie wskazywały odpowiedź wyraźnie błędną; w pozostałych odpowiadały prawidłowo. Badacza interesowało, czy uczestnik zaufa własnym oczom, czy też podporządkuje się zgodnej (choć w oczywisty sposób błędnej) opinii grupy.
Dlaczego badanie Ascha jest eksperymentem? Ponieważ badacz celowo zmieniał jeden element sytuacji i sprawdzał, jak wpłynie to na zachowanie uczestnika. Zmienną niezależną (manipulowaną przez badacza) były odpowiedzi udzielane przez większość. W części prób podstawione osoby wskazywały prawidłowy odcinek, a w części jednogłośnie podawały odpowiedź błędną. Zmienną zależną (mierzoną przez badacza) była odpowiedź osoby badanej: to, czy zaufa własnej ocenie, czy podporządkuje się opinii grupy.
Poza odpowiedziami większości pozostałe elementy procedury pozostawały możliwie podobne. Uczestnik wykonywał to samo proste zadanie, oglądał odcinki i odpowiadał publicznie w ustalonej kolejności. Dzięki kontrolowaniu zmiennych zakłócających, możliwe było porównanie zachowania osoby badanej w sytuacji, gdy grupa odpowiadała prawidłowo, z zachowaniem pod naciskiem jednomyślnie błędnej większości.
Największa siła eksperymentu jest taka, że pozwala on wyciągać wnioski o przyczynowości, a więc o tym, co wpływa na co. Badanie Ascha pokazało, że zetknięcie się z jednogłośną, błędną odpowiedzią większości zwiększało prawdopodobieństwo, że uczestnik się podporządkuje i również odpowie błędnie.
Jeden eksperyment nadal nie jest jednak ostatecznym dowodem. Wynik pojedynczego badania może częściowo zależeć od przypadku, specyfiki próby albo szczegółów procedury. Dlatego ważne są replikacje: nowe badania sprawdzające, czy podobny rezultat pojawi się ponownie po powtórzeniu procedury przez innych badaczy, na innych uczestnikach (między innymi dlatego naukowcy tak precyzyjnie opisują swoje badania w publikacjach, aby umożliwić przyszłe replikacje). Replikacja nie musi przynieść identycznych wyników, ale powinna dostarczyć porównywalnego obrazu badanego zjawiska.
Po co komu replikacje? Wyobraź sobie, że zespół naukowców stara się możliwie wiernie odwzorować procedurę zastosowaną przez Ascha, lecz raz za razem nie osiągają nawet zbliżonych rezultatów. Byłby to powód, aby ograniczyć zaufanie do pierwotnego wyniku, prawda?
Nie musiałoby to jeszcze oznaczać oszustwa ani nawet błędu! Przyczyną mogłyby być różnice między badanymi grupami, niewielka liczba uczestników, pozornie nieistotne zmiany procedury albo zwykłe wahania losowe. Im częściej jednak do podobnych rezultatów prowadzą replikacje realizowane przez różne zespoły i na różnych populacjach, tym mocniejsze stają się dowody, że mamy do czynienia ze stabilnym efektem, a nie jednorazowym zbiegiem okoliczności.
*Jeśli chcesz wiedzieć, czy replikacje eksperymentu Ascha przyniosły podobne wyniki, jak oryginalne badanie – czytaj dalej, wrócimy do tego tematu w metaanalizach!
Nazwa może sugerować, że quasi-eksperyment jest jedynie nieudaną wersją prawdziwego eksperymentu. To nieprawda, choć brakuje mu jednego z najważniejszych zabezpieczeń klasycznego eksperymentu: losowego przydziału badanych obiektów do porównywanych warunków.
W eksperymencie badacze mogą (i powinni) losowo przydzielić uczestników do grupy eksperymentalnej i kontrolnej. Dzięki temu grupy są do siebie podobne nie tylko pod względem cech, które potrafimy zmierzyć, lecz także tych, o których nie pomyśleliśmy (dzięki temu możemy później te grupy ze sobą porównywać). W quasi-eksperymencie przydział nie jest losowy. Grupy powstają wskutek zdarzenia, którego badacze nie kontrolują, na przykład: decyzji administracyjnej, obowiązujących przepisów, miejsca zamieszkania, przekroczenia określonego progu albo innego zdarzenia.
PRZYKŁAD QUASI-EKSPERYMENTU
Christopher Carpenter & Carlos Dobkin: The Minimum Legal Drinking Age and Public Health, 2011
W Stanach Zjednoczonych alkohol można legalnie kupować po ukończeniu 21 lat. Badacze wykorzystali więc wyraźną granicę ustanowioną przez prawo i porównali osoby znajdujące się tuż poniżej oraz tuż powyżej tego wieku.
Logika tego porównania jest prosta. Osoba mająca 20 lat i 364 dni prawdopodobnie nie różni się zasadniczo od osoby, która właśnie skończyła 21 lat. Nie staje się z dnia na dzień dojrzalsza, bogatsza ani bardziej skłonna do ryzyka. Dokładnie w tym momencie gwałtownie zmienia się jednak jedna rzecz: zyskuje legalny dostęp do alkoholu.
Badacze sprawdzili więc, czy w okolicy 21. urodzin zmienia się nie tylko spożycie alkoholu, lecz także śmiertelność. Okazało się, że po przekroczeniu tego progu liczba dni, w których młodzi ludzie pili alkohol, wzrastała o około 21%, a śmiertelność zwiększała się skokowo o około 9%. Wzrost wynikał przede wszystkim z wypadków samochodowych, zgonów bezpośrednio związanych z alkoholem oraz samobójstw.
To nie był klasyczny eksperyment. Carpenter i Dobkin nie przydzielali ludzi losowo do grupy z dostępem do alkoholu i bez takiego dostępu. Nie kazali również jednej grupie pić, a drugiej zachowywać abstynencji. Wykorzystali zmianę, która następowała niezależnie od nich, i sprawdzili, czy dokładnie w tym samym miejscu pojawia się również zmiana badanego wyniku.
Czy to oznacza, że quasi-eksperymenty są gorsze i nie należy ich brać pod uwagę? Absolutnie nie. W wielu przypadkach są najlepszymi danymi, do jakich możemy mieć dostęp. Ze względów praktycznych i etycznych nie możemy losowo przydzielić ludzi do życia w ubóstwie, rzucenia szkoły, palenia papierosów czy uzyskania dostępu do alkoholu. Możemy jednak wykorzystywać istniejące przepisy, reformy i naturalnie występujące granice, aby możliwie wiarygodnie sprawdzać, co wpływa na co.
Wiarygodność quasi-eksperymentu zależy od tego, czy spełnione są założenia stojące za dokonanymi porównaniami. W przykładzie badania Carpentera i Dobkina na przykład musimy założyć, że w dniu 21. urodzin nie zachodzi żadna inna równie gwałtowna zmiana, która mogłaby wyjaśnić wzrost śmiertelności.
Case study (studium przypadku) to dogłębny opis pojedynczej sytuacji. Sam fakt tego, że badamy pojedynczy przypadek bardzo osłabia wagę case study jako dowodu naukowego. W końcu mamy tu bardzo wysokie prawdopodobieństwo, że indywidualne cechy obiektu badań (np. człowieka) wpłyną na efekt końcowy.
Niemniej case study są bardzo użyteczne, szczególnie, gdy mierzymy się ze zjawiskiem bardzo rzadkim oraz mało poznanym. W takich przypadkach inne formy badań są często niemożliwe, choćby dlatego, że naukowcy nie są w stanie uzbierać grupy badanej (przykładem niech będą choroby, których odnotowano dopiero kilka przypadków). W przypadku tematów słabo poznanych case study może nam przybliżyć zjawisko na tyle, aby dostarczyć nam interesujących pytań i hipotez, które staną się podstawą do badań eksperymentalnych.
PRZYKŁAD CASE-STUDY
W 1848 roku 25-letni Phineas Gage pracował przy budowie linii kolejowej w stanie Vermont. Do jego zadań należało usuwanie przeszkód skalnych. W skale wiercono otwór, wsypywano do niego proch, umieszczano zapalnik, a następnie zasypywano całość piaskiem i ubijano ciężkim metalowym prętem.
Podczas jednej z takich prac doszło do przedwczesnej eksplozji. Ważący około sześciu kilogramów pręt miał blisko 110 centymetrów długości i nieco ponad trzy centymetry średnicy. Wszedł w lewą stronę twarzy Gage’a, przeszedł za lewym okiem i przez przednią część mózgu, po czym wydostał się przez górną część czaszki. Siła eksplozji wyrzuciła go na kilkanaście metrów. Mimo tak rozległego urazu Gage przeżył, a jego stan wydawał się całkiem dobry.
Opiekę nad rannym przejął dr John Martyn Harlow, który szczegółowo opisał zarówno przebieg leczenia, jak i późniejsze zachowanie pacjenta. Przed wypadkiem Gage był opisywany jako pracowity, rozsądny i konsekwentny. Według późniejszej relacji, po urazie stał się bardziej impulsywny, kapryśny i niecierpliwy. Miał lekceważyć innych, używać wulgarnego języka, źle znosić ograniczenia i porzucać plany niemal natychmiast po ich ułożeniu.
Pod koniec lat pięćdziesiątych XIX Gage zaczął cierpieć na napady padaczkowe, które stopniowo stawały się coraz częstsze. Zmarł w 1860 roku, prawie dwanaście lat po wypadku.
Historia nie zakończyła się jednak wraz z jego śmiercią. Dr Harlow dowiedział się o niej dopiero kilka lat później i skontaktował się z rodziną dawnego pacjenta. W 1867 roku, za zgodą matki Gage’a, otwarto grób i wydobyto z niego czaszkę. Rodzina przekazała ją Harlowowi wraz z metalowym prętem, który Gage zachował po wypadku i przez lata woził ze sobą. Lekarz zbadał czaszkę, wykorzystał ją do odtworzenia przypuszczalnej drogi narzędzia, a w 1868 roku przekazał oba obiekty Warren Anatomical Museum przy Harvard Medical School. Znajdują się tam do dziś.
Studia przypadków, takie jak to, pozwalają bardzo dokładnie przyjrzeć się zjawiskom rzadkim, nietypowym lub ekstremalnym, których nie dałoby się celowo wywołać w warunkach eksperymentalnych. Mogą ujawnić zależność, której wcześniej nie brano pod uwagę, oraz zainspirować hipotezy sprawdzane później za pomocą bardziej systematycznych badań.
Przypadek Phineasa Gage’a dostarczył badaczom wartościowych hipotez o możliwym związku płatów czołowych, które zostały u Gage’a poważnie uszkodzone, z osobowością, kontrolą zachowania i funkcjonowaniem społecznym.
Ich możliwości mają jednak wyraźne granice. Obserwacja jednej osoby nie pozwala stwierdzić, czy podobne skutki wystąpiłyby również u innych ludzi. Nie wiemy bowiem, które elementy przypadku są typowe, a które wynikają z indywidualnych cech badanej osoby, dokładnego miejsca urazu, przebiegu leczenia lub warunków jej późniejszego życia. Studium przypadku zwykle nie zapewnia również grupy porównawczej ani kontroli nad innymi czynnikami mogącymi wpływać na wynik. Trudno je także zreplikować: nie sposób ponownie odtworzyć tego samego zdarzenia u tej samej osoby, a celowe wywołanie podobnego urazu byłoby oczywiście niedopuszczalne.
Z tego powodu studia przypadków są szczególnie podatne na nadinterpretacje. Tak stało się również z historią Gage’a. Sam wypadek nie budzi wątpliwości, świadczą o nim dokumentacja lekarska, zachowana czaszka oraz metalowy pręt. Znacznie mniej pewne są jednak twierdzenia dotyczące rozmiaru i trwałości zmian jego osobowości.
Najbardziej szczegółowy opis zachowania Gage’a John Martyn Harlow opublikował dopiero w 1868 roku, dwadzieścia lat po wypadku i osiem lat po śmierci pacjenta. Nie przeprowadzono żadnych standaryzowanych testów psychologicznych, a większość informacji pochodziła od jednego lekarza, członków rodziny i dawnych pracodawców. Co więcej, kolejne wersje tej historii przypisywały Gage’owi zachowania, których nie odnotowano w pierwotnych źródłach. Z czasem ostrożna obserwacja kliniczna przekształciła się więc w rozdmuchaną opowieść o człowieku, który po urazie mózgu miał stać się zupełnie inną osobą.
Pojedyncze badanie może przynieść fascynujący wynik. Może być jednak również statystycznym przypadkiem, skutkiem nietypowej próby albo rezultatem zależnym od drobnego szczegółu procedury. Metaanaliza zadaje więc szersze pytanie o to, jaki obraz wyłania się ze wszystkich porównywalnych badań na dany temat?
Metaanaliza jest metodą statystycznego łączenia wyników wielu badań dotyczących tego samego zagadnienia. Badacze najpierw systematycznie wyszukują odpowiednie publikacje, ustalają kryteria ich włączenia, a następnie sprowadzają uzyskane wyniki do wspólnej miary — najczęściej wielkości efektu. Dzięki temu mogą oszacować nie tylko, czy dany efekt przeciętnie występuje, lecz także jak jest duży, jak bardzo różni się między badaniami oraz od czego mogą zależeć te różnice.
Wróćmy jeszcze raz do eksperymentu Ascha nad konformizmem z początku tego posta.
PRZYKŁAD METAANALIZY
Rod Bond i Peter Smith: metaanaliza badań wykorzystujących badanie Ascha
Bond i Smith zebrali 68 raportów opisujących 133 oddzielne eksperymenty, obejmujące łącznie 4627 uczestników z 17 krajów. Aż 97 eksperymentów przeprowadzono w Stanach Zjednoczonych, a większość uczestników stanowili studenci.
Łączny wynik potwierdził, że presja grupy rzeczywiście wpływa na odpowiedzi. Średnio uczestnicy podporządkowywali się błędnej większości w około 29 procentach prób krytycznych. Wyniki poszczególnych badań znacznie się jednak różniły: od niemal całkowitego braku konformizmu do podporządkowania w większości prób.
Zamiast kończyć na ogólnym stwierdzeniu, że „ludzie ulegają grupie”, badacze mogli eksplorować warunki występowania i nasilenia tego konformizmu, czyli sprawdzić, jakie zmiany między eksperymentami systematycznie prowadziły do zmian w nasileniu konformizmu. Z raportu Bonda i Smitha wynika między innymi, że konformizm był większy, gdy większość opowiadająca się za błędną odpowiedzią była liczniejsza, nie składała się z przedstawicieli obcej grupy, a oceniane bodźce były bardziej niejednoznaczne. Analiza badań amerykańskich wskazała również, że poziom konformizmu stopniowo spadał od czasu eksperymentów Ascha z początku lat pięćdziesiątych.
Dobra analiza pomaga rozwiązać wiele problemów pojedynczych eksperymentów. Nie oznacza to jednak, że każda metaanaliza automatycznie dostarcza dowodów najwyższej jakości. Jej wartość zależy m.in. od jakości uwzględnionych badań, kompletności wyszukiwania, trafności przyjętych kryteriów oraz sposobu przeprowadzenia analizy.
Połączenie wielu słabych badań nie zamienia ich magicznie w mocny dowód. Dobra metaanaliza pozwala jednak spojrzeć ponad szumem pojedynczych wyników i sprawdzić, czy obserwowane zjawisko powtarza się w różnych próbach, miejscach i warunkach.
Codziennie podejmujemy setki decyzji, ale czy zawsze są one racjonalne? Niestety nie – choć umysł…
Czy maszyna może myśleć? A może jest ograniczona do procesów, które tylko wydają się inteligentne?…
To, że pamięć nas zawodzi nie jest żadną nowością – ale jak to możliwe, że…
Jeżeli weźmiesz trochę biologii, psychologii, filozofii, logiki i informatyki, które następnie doprawisz szczyptą sztucznej inteligencji,…
Czy możemy ufać własnej pamięci? Czy wspomnienia są jak film przechowywany w umyśle? A może…
Lepiej nauczysz się pisząc, czy słuchając? Czy słuchanie Mozarta wpłynie pozytywnie na Twoje IQ? Jak…