En forskningsblogg från Centrum för forsknings- & bioetik (CRB)

Kategori: Tänkvärt (Sida 1 av 20)

Vikten av att låta saker ta sin tid

Att vara etiker och filosof är att vara en tidens advokat: ”Vänta, vi behöver tid att tänka efter här.” Detta att låta saker ta sin tid får sällan gehör i samhället. Det börjar redan i skolan, där det ofta gäller att kunna räkna snabbt och kunna rabbla så många ord som möjligt på en minut. Det fortsätter sedan på samhällsnivå.

Ett bra exempel är teknikutvecklingen, som går snabbare än någonsin. Människan har alltid använt mer eller mindre avancerad och funktionell teknik, alltid letat efter bra sätt att lösa problem. Med den industriella revolutionen började det gå riktigt snabbt, sedan har hastigheten bara ökat. Vi fick fabriker, biltrafik, flygtrafik, kärnkraft, genmodifierade grödor och fosterdiagnostik. Vi fick skrivmaskiner, datorer och telefoner. Vi fick olika sätt att spela och spela upp musik. Nu har vi har vi fått artificiell intelligens (AI), som det ofta sägs kommer att revolutionera de flesta delar av samhället.

Utvecklingen och implementeringen av AI går ojämförligt snabbt. Olika myndigheter använder AI, hälso- och sjukvården tillåter att AI-verktyg får allt fler uppgifter. Skolor och universitet brottas med frågan hur AI ska användas av studenter, lärare och forskare. Lärare har stått handfallna eftersom AI etablerade sig så snabbt, och olika lärare har olika sätt att dra gränser för vad som är fusk, vilket resulterar i stor otydlighet för studenter om vad som gäller. Människor använder AI för allt från att planera sin dag till att få hjälp med psykiska problem. AI används som relationsexpert, men också som själva föremålet för romantiska relationer eller vänskapsrelationer. Det finns idag AI som kan ringa upp gamla och sjuka människor och fråga dem hur de känner sig, om de tagit sin medicin, och kanske om de har haft några sociala kontakter den senaste tiden.

Precis som med all teknik finns det fördelar och nackdelar med AI, och den kan användas på både bra och dåliga sätt. AI kan användas för att förbättra för människor och miljö, men liksom all teknik kan den också vara skadlig för människor och miljö. Människor och samhällen kan göra saker bättre och enklare med AI, men liksom all teknik kan den också få negativa konsekvenser som miljöförstöring, arbetslöshet och diskriminering.

Forskare i Nederländerna har diskuterat problemen som uppstår med ny teknik i termer av ”sociala experiment”. De menar att det finns en viktig skillnad jämfört med den noggranna prövning som exempelvis nya läkemedel genomgår. Läkemedel testas i laboratorier och djurförsök innan de godkänns. Ny teknik genomgår inte en lika strukturerad process.

EU har infört ett grundläggande juridiskt ramverk kring AI (EU AI Act), vilket kan ses som ett försök att introducera den nya tekniken på ett sätt som är mindre experimenterande med människor och samhällen: mer ”ansvarsfull” och ”pålitlig” AI. Den nya lagen kritiseras av vissa europeiska teknikföretag som hävdar att lagen innebär att vi hamnar efter de länder som inte har några regler, till exempel USA och Kina. Att göra saker på ett genomtänkt och etiskt riktigt sätt betraktas tydligen som mindre viktigt än att snabbt få tekniken på plats. Tvärtom betraktas eftertänksamhet som riskfyllt, vilket säger en del om det riskbegrepp som för närvarande framtvingar en så snabb utveckling att kanske inte ens tekniken hinner leverera vad marknaden förväntar sig.

Precis som med tidigare viktiga tekniker skulle vi behöva tänka efter innan. Om AI ska hjälpa oss utan skadliga konsekvenser så måste utvecklingen få ta sin tid. Detta är ännu viktigare med AI än med tidigare teknik, eftersom AI har ovanligt stor potential att påverka våra liv. Etikforskningen pekar på flera problem som har att göra med rättvisa och tillit. Ett problem är att vi inte kan förklara varför AI i sjukvården kommer till en viss slutsats om en patients hälsotillstånd. Med tidigare teknik har någon person, om inte användaren så åtminstone utvecklaren, alltid kunnat förklara kausaliteten i systemet. Vågar vi lita på en teknik i sjukvården som vi inte kan kontrollera eller förklara på väsentliga punkter?

Det finns teknikoptimister och teknikpessimister. Vissa är entusiastiska över ny teknik och tror att den är lösningen på alla våra problem. Andra anser att försiktighetsprincipen borde gälla för all ny teknik och vill inte acceptera några risker alls. Det vore bra om vi kunde se medelvägen. Medelvägen består i att låta saker ta sin tid att visa sina reella möjligheter bortom optimisternas och pessimisternas förutfattade meningar om saken. Att förespråka ett etiskt förhållningssätt handlar alltså inte om att sätta stopp för utvecklingen, utan om att sakta ner processen. Detta för att vi ska få tid att reflektera över var det kan vara lämpligt att införa AI och var vi kanske borde avstå från tekniken. Vi borde också fundera över hur den AI som vi väljer att använda introduceras på ett bra sätt, så att vi hinner upptäcka riskerna för orättvisa, diskriminering och minskad tillit och kan minimera dem.

Det är inte lätt och inte populärt att vara den som säger ”Vänta, vi måste tänka efter”. Ändå är det så viktigt att vi tar oss tid. Vi måste tänka efter före, så att det inte blir fel när det så lätt hade kunnat bli rätt. Det kan vara värt att fundera över vad som kunde hända om vi fick lära oss i skolan att det är viktigare att göra saker rätt än att göra dem snabbt.

Skrivet av…

Jessica Nihlén Fahlquist, lektor i biomedicinsk etik och docent i praktisk filosofi vid Centrum för forsknings- & bioetik.

Läs även SvD 2025-10-20: ”AI – ett experiment på samhällsnivå?”

Detta inlägg på engelska

Vi deltar i debatten

Kan samtalsstöd och psykoterapi vara fria från filosofiska utgångspunkter?

På den engelska versionen av denna blogg ställer Luis de Miranda idag fem självkritiska frågor om samtalsstöd och psykoterapi. Syftet med frågorna är att belysa hur dessa verksamheter möjligen utgår från olika filosofiska antaganden, utan att man är medveten om detta, till exempel om personlig identitet och autenticitet, eller om relationen mellan kropp och medvetande.

Bakgrunden till blogginlägget är en artikel av Fredrik Andersen, Rani Lill Anjum, and Elena Rocca: “Philosophical bias is the one bias that science cannot avoid.” Artikeln beskriver hur molekylärbiologer respektive ekologer närmat sig säkerhetsfrågor om genmodifierade grödor: från fundamentalt olika filosofiska utgångspunkter. Båda sätten att närma sig frågorna var vetenskapligt rigorösa och gav viktiga insikter, men inget av tillvägagångssätten kan sägas ha varit filosofiskt neutralt. Om vetenskapen inte kan undvika att mer eller mindre omedvetet göra olika filosofiska antaganden, frågar sig Luis de Miranda, kan vi då förvänta oss att olika sätt att bedriva samtalsstöd och psykoterapi är filosofiskt förutsättningslösa?

De fem frågorna i inlägget försöker blottlägga fem dimensioner av mänskligt liv som man kan ha olika filosofiska uppfattningar om; uppfattningar som i sin tur kan resultera i olika sätt att bedriva samtalsstöd och terapi. Luis de Miranda arbetar själv med en filosofisk form av samtalsstöd, där dessa och liknande dimensioner undersöks filosofiskt med klienten. Det kan då naturligtvis förefalla som om filosofiskt samtalsstöd hade ett företräde, eftersom man där explicit diskuterar filosofiska antaganden som annars lätt tas för givna. Men även filosofer gör grundläggande filosofiska antaganden utan att vara medvetna om dem, även de närmar sig sina frågor på fundamentalt olika sätt. Och även när de skymtar sina djupare utgångspunkter är de sällan överens om vilka utgångspunkter som är de rätta, eftersom de resonerar från olika utgångspunkter!

Filosofins splittring understryker möjligen Luis de Mirandas poäng. När även filosofer är oense om sina filosofiska utgångspunkter får vi alla ansvaret att granska oss själva: granska övertygelserna som präglar oss så djupt att de riskerar att forma även vår granskning av dem. Tänk på hur svårt det kan vara för en optimist att ifrågasätta sina ljusa begrepp om det möjliga; för en pessimist att ifrågasätta sina mörka begrepp om det omöjliga. Psykologer kan i vissa fall säkert hjälpa filosofer att bli klarare över sina personliga utgångspunkter som tänkare, mönster som kan vara nog så djupt rotade.

Vill du fundera mer om samtalsstöd, psykoterapi och filosofiska utgångspunkter så hittar du blogginlägget här: Can counseling be unphilosophical?

Skrivet av…

Pär Segerdahl, docent i filosofi vid Centrum för forsknings- och bioetik och redaktör för Etikbloggen.

Andersen, F., Anjum, R. L., & Rocca, E. (2019). Philosophical bias is the one bias that science cannot avoid. eLife, 8, e44929. https://doi.org/10.7554/eLife.44929

Vi ställer frågor

Hur kan vi avgöra om AI har känslor när den är utformad för att återspegla mänskliga drag?

De flesta av oss har ingen tendens att tro att en mänsklig spegelbild möjligen kan ha känslor bara för att spegelbilden har exakt samma ansiktsuttryck som människan framför spegeln. Till exempel har vi ingen tendens att vända oss till spegelbilden för att ställa frågor. Vi vänder oss till människan. Dessutom är det tydligt att spegelbilden inte rör sig själv, den speglar bara människans rörelser.

Situationen att använda ett AI-verktyg som Chat GPT eller Gemini har en annan karaktär. För det första riktar vi oss till AI-verktyget för att ställa frågor. Allt går ut på att göra precis det som vi aldrig skulle göra med våra spegelbilder: via AI-appen vänder vi oss till vad som ger intryck av att vara ”någon annan”. Vi ställer frågor till vad som framstår som ”den andre” och är nyfikna på svaret. Vidare upplever vi att vi kan diskutera svaret och be om förtydliganden på sätt som liknar mänskliga samtal. Slutligen kan vi häpna över svaret, som kan upplevas som mer eller mindre självständigt, intelligent och sensibelt. Det är svårt att undvika intrycket att vi chattar med en extremt servicevänlig, alert och kunnig person som vi bör visa hänsyn till, och som vi kan känna tacksamhet till.

Inte underligt då om frågan om artificiellt medvetande ter sig alltmer spännande att diskutera som en realistisk möjlighet. Faktum är att de stora språkmodeller som ”svarar” på våra frågor om allt möjligt överraskat många av AI-ingenjörerna bakom tekniken själva. Somliga anser rentav att AI i vissa fall redan idag kan sägas vara medveten. Några anger en procentsats för hur troligt det är att språkmodellen du chattar med är medveten. Andra föresätter sig att bygga medveten AI som en möjlighet i framtiden.

Kan man på ett vetenskapligt och rationellt sätt undersöka om ett AI-system verkligen kan sägas vara medvetet? Inte bara spekulera om saken? En av de stora utmaningarna här är att AI-systemen är tränade på människogenererade data för att återspegla mänskliga drag. Därför kan man inte använda de systemegenskaper som gör ett så emotionellt intryck på oss som evidens för att AI-systemet vi interagerar med har något slags känslor. Systemet vore felbyggt om det inte fick dig att häpna över likheten med att prata med en mer eller mindre självständig, intelligent och sensibel människa. Så hur kan man seriöst närma sig denna fantasieggande fråga, om systemet är konstruerat för att generera vad som lätt kunde tas som evidens för ett jakande svar?

Om detta skriver Michele Farisco idag på den engelska versionen av Etikbloggen. Han diskuterar fem strategier för att närma sig frågan om artificiellt medvetande på ett vetenskapligt och rationellt sätt, samt förslår en väg framåt. Om du vill ta frågan om artificiellt medvetande på allvar, hittar du hans blogginlägg här: How to tell if AI has feelings when it is designed to reflect human traits?

Personligen undrar jag om de systemegenskaper och sätt att chatta med AI som kan locka oss att tro att AI-verktyget möjligen är medvetet (eller snart blir det), även fick oss att ställa frågan. Liksom svar kan locka, kan frågor hägra. Att genomskåda våra hägrande frågor är lika angeläget som att inte förledas av de lockande svaren.

Skrivet av…

Pär Segerdahl, docent i filosofi vid Centrum för forsknings- och bioetik och redaktör för Etikbloggen.

Vi söker klarhet

Vad är filosofisk hälsa och kan den kartläggas?

Filosofer som Sokrates och filosofiska skolor som stoicismen har haft ett visst inflytande på psykologi och psykoterapi, och därmed även på människors hälsa. Men om filosofin kan stödja människors hälsa via psykologin, kan den inte stödja hälsan mer direkt, på egen hand? En växande trend idag är att erbjuda filosofiska samtal som en form av filosofisk praktik som kan stödja människors hälsa i existentiella dimensioner. Trenden att erbjuda filosofiska samtal är kopplad till ett begrepp om hälsa som inte bara handlar om kroppslig och psykisk hälsa, och som inte förstår hälsa bara som avsaknad av sjukdom: filosofisk hälsa.

Vad innebär det att prata om filosofisk hälsa? Med tanke på alla hälsoideal som redan idag påverkar självkänslan, ska vi nu också influeras av filosofiska hälsoideal som får våra liv att kännas hopplöst ogenomtänkta och meningslösa? Nej, tvärtom, den stress som mänskliga ideal och normer skapar kan vara ett angeläget ämne att filosofera om, i lugn och ro. I stället för att tyngas av fler idéer om hur vi borde leva, i stället för att ge sken av att vi uppfyller idealen, kan vi fritt granska denna underliggande stress: att dagligen känna tvånget att leva så som vi inbillar oss att man borde. Inte underligt att filosofisk praktik är en växande trend. Äntligen får vi tid att tänka öppet om vad andra trender vanligen får oss att dölja: oss själva, när vi inte identifierar oss med trenderna, normerna och idealen.

Att filosofera låter tungt och krävande men kan faktiskt vara raka motsatsen. Jag har skrivit en essä om hur filosofisk självgranskning, i sina bästa ögonblick, kan lätta sinnet genom att oväntat blixtbelysa våra många outtalade krav och förväntningar. Tyvärr är essän inte öppet tillgänglig, men här är länken: The Wisdom of Intellectual Asceticism.

En kollega på CRB, Luis de Miranda, har länge arbetat med filosofisk hälsa både som praktiker och forskare. Han betonar att mänsklig hälsa även omfattar existentiella dimensioner som harmoni, mening och syfte i livet, och att människor för att må väl i dessa intimt allmängiltiga dimensioner även behöver möjligheter att reflektera över livet. I en ny artikel (skriven med sex medförfattare) utvecklar han begreppet i form av ett forskningsverktyg som skulle kunna kartlägga filosofisk hälsa: en filosofisk hälsokompass. Tanken är att kompassen ska göra det möjligt att studera filosofisk hälsa på mer kvantitativa sätt, till exempel göra jämförelser mellan populationer och bedöma effekter av olika former av filosofisk praktik.

Kompassen utgörs av en enkät. Den som besvarar enkäten får överväga påståenden om 6 existentiella dimensioner av livet, kretsande kring kroppen, jaget, tillhörigheten, livsmöjligheterna, meningen/syftet, samt slutligen den egna filosofiska reflektionen. Varje dimension utforskas genom 8 påståenden. Den som besvarar enkäten anger på en 5-gradig skala hur väl de totalt 48 påståendena stämmer på personen själv.

Jag kan inte bedöma hur väl valda de 48 påståendena är, eller hur lätt människor finner det att ta ställning till dem, men påståendena är konkretare än man kunde tro och det blir spännande att ta del av vad som händer när kompassen prövas. Kommer den att kunna mäta massans visdom, kan filosofiskt relevanta skillnader och förändringar kartläggas? Om du vill titta närmare på den filosofiska hälsokompassen hittar du artikeln här: The philosophical health compass: A new and comprehensive assessment tool for researching existential dimensions of wellbeing.

Luis de Miranda varnar för att kompassen kan riskera att inte bara stödja filosofisk hälsa, utan också underminera den om kompassen tolkas som ett ideal som bestämmer de kvalitéer som utmärker god filosofisk hälsa. Att använda kompassen klokt fordrar stor öppenhet och lyhördhet, betonar han. Ja, förhoppningsvis kommer kompassen att väcka många filosofiska frågor om vad filosofisk hälsa är, och hur den kan studeras. För vad är den stora öppenhet och lyhördhet som Luis de Miranda betonar, om inte den filosofiska frågvisheten själv?

Skrivet av…

Pär Segerdahl, docent i filosofi vid Centrum för forsknings- och bioetik och redaktör för Etikbloggen.

Pär Segerdahl; The Wisdom of Intellectual Asceticism. Common Knowledge 1 January 2025; 31 (1): 74–88. doi: https://doi.org/10.1215/0961754X-11580693

de Miranda, L., Ingvolstad Malmgren, C., Carroll, J. E., Gould, C. S., King, R., Funke, C., & Arslan, S. (2025). The philosophical health compass: A new and comprehensive assessment tool for researching existential dimensions of wellbeing. Methodological Innovations, 0(0). https://doi.org/10.1177/20597991251352420

Detta inlägg på engelska

Vi tänker om tänkande

Tänk på avståndet mellan etik i princip och etik i praktik

När etiska dilemman diskuteras med hjälp av fallbeskrivningar eller vinjetter, har vi en tendens att föreställa oss fallen som tagna ur verkligheten. Visst, vinjetterna är vanligen påhittade och beskrivningarna anpassade för att illustrera etiska principer, men när vi diskuterar fallen brukar vi ha attityden att de är verkliga. Eller åtminstone verkliga möjligheter: ”Hur bör vi göra om vi möter ett fall som detta?”

Att diskutera etiska fall är en oerhört bra övning i etiskt resonerande och en viktig del i utbildning och fortbildning av vårdpersonal. Men ibland kan vi även behöva hålla i minnet att det handlar om anpassade övningar i träningslokalen, så att säga. Verkligheten levererar sällan separata dilemman som kan hanteras ett och ett. Ofta är den snarare ett kontinuerligt flöde av mer eller mindre klart upplevda utmaningar som förändras snabbare än vi hinner beskriva dem. Vi kan inte alltid säga hur problemsituationen egentligen ser ut. Därför kan det ibland vara klokt att inte besluta eller agera omedelbart, utan att vänta på att situationen tar en annan och kanske tydligare form. Och då kan det etiska problemet i praktiken delvis ha löst sig, eller blivit mer hanterbart, eller blivit inaktuellt.

Låter det oansvarigt? Att döma av två texter som jag vill rekommendera idag, kan ansvarsfull vårdpersonal tvärtom uppleva att det skaver mellan etik i princip och etik i praktik, och att det vore oetiskt att inte ta detta på allvar. Den första texten är en essä av Joar Björk (som är både etiker och läkare i palliativ vård). I tidskriften Palliative Care and Social Practice diskuterar han ett påhittat patientfall. En man med spridd prostatacancer vårdas av ett palliativt team. I vinjetten har mannen tidigare uttryckt att han vill ha fullständig kunskap om sitt tillstånd och hur hans död kan se ut. Men när teamet får tid att tala med honom ändrar han sig plötsligt och säger att han ingenting vill veta, och att frågan inte ska tas upp igen. Vad ska man nu göra?

Enligt Joar Björk vore den principiella etiska standardrekommendationen här antagligen den följande. Respekten för patientens autonomi kräver att teamet inte försöker genomföra samtalet. Bara om man har goda skäl att tro att ett samtal kan ha stor medicinsk nytta kan man överväga att på något sätt försöka informera patienten.

Observera att den principiella rekommendationen behandlar den uppkomna situationen som ett separat fall: som en färdigskriven vinjett som inte kan förändras. Men i praktiken vårdar palliativa team sina patienter kontinuerligt under längre tid: så mycket förändras ständigt. Naturligtvis är de medvetna om att de inte kan påtvinga patienten information som han uppger att han inte vill ha, eftersom det strider mot autonomiprincipen. Men i praktiken är den oväntade situationen en oklar etisk utmaning för vårdteamet. Vad hände egentligen, varför ändrade han sig? Vägrar mannen plötsligt acceptera sin sjukdom och dödens närhet? I så fall kanske teamet försiktigt borde försöka samtala mer med honom snarare än mindre? Hur kan teamet planera mannens vård – kanske behövs snart en sjukhussäng i hemmet – om man inte får prata med honom om hans tillstånd? Eftersom palliativa vårdteam utvecklar god förmåga att lyssna och kommunicera, kan situationen mycket väl snart se annorlunda ut. Allt förändras!

Joar Björks reflektioner ger läsaren en aning om hur etiska utmaningar i praktiken antar andra gestalter än i vinjetterna som är så viktiga inom etisk undervisning och vidareutbildning. Hur hanterar han avståndet mellan etik i princip och etik i praktik? Som jag förstår honom förfäktar Joar Björk ingen bestämd uppfattning om hur man bör gå tillväga. Men han prövar att formulera en palliativ etisk vårdfilosofi, som skulle kunna ge bättre etisk vägledning i fall som det nyss beskrivna. Flera författare som arbetar med palliativ vård har försökt formulera aspekter av en sådan vårdfilosofi. I sin essä sammanfattar Joar Björk deras ansträngningar i 11 punkter. Vad som nyss lät passivt och oansvarigt – att vänta och se – dyker upp i Joar Björks lista i form av visdomsord som ”Allting förändras” och ”Anpassning och improvisation”.

Kan vårdpersonal då finna bättre etisk vägledning i sådana praktiska inställningar än i väletablerade bioetiska principer? Joar Björk diskuterar tentativt hur de 11 punkterna sammantagna skulle kunna ge vägledning som är känsligare för den palliativa vårdens praktiska kontexter. Själv undrar jag dock – men jag vet inte – om det inte vore klokt att låta avståndet mellan etik i princip och etik i praktik vara så stort som det är. De 11 punkterna har antagligen sitt ursprung i en etisk vårdpraktik som redan fungerar så som punkterna beskriver den. Den fungerar så utan att vårdpersonalen använder punkterna som en sorts mjuk vägledning. Joar Björk beskriver alltså en palliativ etik i praktik; en beskrivning som kan hjälpa oss att tänka klarare om skillnaden mellan de två formerna av etik. Att reflektera över de 11 punkterna kan till exempel göra vårdpersonal mer medveten om särdrag i sin praktik, så att de inte felriktat anklagar sig själva om de inte alltid förhåller sig till uppkomna situationer som om de vore separata fall som illustrerar etiska principer.

Kanske är det fräckt av mig att föreslå denna möjlighet i ett blogginlägg som kommer med lästips, men Joar Björks reflektioner är så tankeväckande att jag inte kan låta bli. Läs hans essä här: Ethical reflection: The palliative care ethos and patients who refuse information.

Du kommer säkert att finna Joar Björks reflektioner spännande. Därför vill jag också nämna en ny bok som även den tänker på avståndet mellan etik i princip och etik i praktik. Boken är skriven av Stephen Scher och Kaisa Kozlowska och är publicerad med öppen tillgång. Du hittar den här: Revitalizing Health Care Ethics. The Clinician’s Voice.

Jag tror alltså att det ofta är svårt att bli klar över skillnaden mellan etik i princip och etik i praktik. Vi tenderar att överföra egenskaper från den ena till den andra, och blir missnöjda när det inte går. I boken av Scher och Kozlowska används därför varningen ”Tänk på avståndet!” för att fästa uppmärksamheten på skillnaden. Om vi tänker på avståndet mellan vagn och plattform – om vi inte föreställer oss vagnen som en alltför rörlig plattform, och plattformen som en alltför stillastående vagn – så kanske att de två formerna av etik kan acceptera och finna bättre stöd i varandra. Oftare än vi tror är vi missnöjda av den enkla anledningen att vi inte lyckas hålla isär olika saker.

Skrivet av…

Pär Segerdahl, docent i filosofi vid Centrum för forsknings- och bioetik och redaktör för Etikbloggen.

Björk J. Ethical reflection: The palliative care ethos and patients who refuse information. Palliative Care and Social Practice. 2025;19. doi:10.1177/26323524251355287

Stephen Scher, Kasia Kozlowska. 2025. Revitalizing Health Care Ethics. The Clinician’s Voice. Palgrave Macmillan Cham.

Detta inlägg på engelska

Kommer med lästips

Är detta verkligen sant?

Varför är sanningsfrågan så fantastisk? En vanlig inställning är att frågan kan få oss att försäkra oss om att våra åsikter verkligen är korrekta innan vi uttalar dem. Genom att hålla oss så välinformerade som möjligt, genom att granska våra åsikter så att de bildar ett så stort och sammanhängande system som möjligt av väl övervägda åsikter, kan vi med gott samvete göra vad vi alla har en tendens att göra: ge luft åt våra åsikter.

Att låta sanningsfrågan skärpa kraven på hur vi bildar våra åsikter är naturligtvis viktigt. Men de skärpta kraven riskerar samtidigt att förstärka våra attityder till de åsikter som vi anser uppfyller kraven. Vi har inte längre bara rätt, så att säga, utan rätt på rätt sätt, enligt konstens strängaste regler. Om någon ger luft åt slarvigt bildade åsikter, så känner vi omedelbart att vi måste bemöta villfarelserna genom att uttala våra mer rigorösa uppfattningar om saken.

Att bemöta villfarelser är naturligtvis viktigt. En risk är dock att de som ofta förklaras otillräckligt rigorösa snart lär sig hur man uppvisar en rigorös fasad. Eller rentav struntar i de strängare kraven eftersom man ju hursomhelst har rätt, och därmed även har rätten att köra över dem som hursomhelst har fel!

Vår ädla inställning till sanningsfrågan slutar kanske inte alltid så fantastiskt, utan kan leda till ett hårdare åsiktsklimat. Så hur kan sanningsfrågan vara fantastisk?

De flesta av oss har en tendens att tänka att våra åsikter om världen motiveras av allt störande som händer i den. Vi kan rentav tänka att det är vår godhet som får oss att ha åsikterna, att det är vår känsla för rättvisa som får oss att uttala dem. Dessa tendenser förstärker våra åsikter, spänner dem som fjädrarna i en mekanism. Liksom vi har en knäreflex som får benet att sparka, tycks vi ha en kunskapsreflex som får munnen att gå, om jag får uttrycka mig drastiskt. Så snart en åsikt tagit form, tror vi att vi vet att det är så. Vi lever i våra huvuden och världen tycks översvämmas av allt vi tänker om den.

”Är detta verkligen sant?” Anta att vi ställde den frågan lite oftare, just när vi upplever att vi måste få ge luft åt vår åsikt om världsläget. Vad skulle hända? Antagligen stannar vi upp för ett ögonblick … och kan oväntat ana att det enda som får oss att känna att vi måste uttala åsikten, är åsikten själv. Om någon ifrågasätter åsikten, känner vi genast tvånget att ge luft åt fler åsikter, som enligt vår åsikt bevisar den första åsikten.

”Är detta verkligen sant?” För ett kort ögonblick kan sanningsfrågan ta andan ur oss. Tvånget att ge luft åt våra åsikter om världsläget kommer av sig och vi kan rikta frågan till oss själva: Varför känner jag ständigt böjelsen att uttala mina åsikter? Åsikterna är ärliga, jag tänker verkligen så här, jag hittar inte på vilka åsikter som helst. Men tänkandet av åsikterna har en bedräglig form, för när jag tänker mina åsikter så tänker jag givetvis att det är så. Åsikterna formerar sig som den verklighet som jag reagerar på. – Eller som en stoisk tänkare sa:

”Det är inte det som händer som vållar människorna oro utan de åsikter de har om detta.” (Epiktetos)

”Är detta verkligen sant?” Att förstummas av den frågan kan få ett helt moln av åsikter att kondensera till en droppe klarhet. För när vi tystnar kan vi plötsligt se hur kunskapsreflexen sätter inte bara munnen i rörelse, utan hela världen. Så vem tar sanningen på allvar? Kanske den som inte tar sina åsikter på allvar.

Skrivet av…

Pär Segerdahl, docent i filosofi vid Centrum för forsknings- och bioetik och redaktör för Etikbloggen.

Detta inlägg på engelska

Vi söker klarhet

Varför ställer vetenskapen frågan om artificiellt medvetande?

Möjligheten av medveten AI uppfattas alltmer som en legitim och angelägen vetenskaplig fråga. Detta intresse har uppstått efter en lång historia av vetenskapliga tvivel på möjligheten av medvetande inte bara hos andra djur, utan ibland rentav hos människan. Själva begreppet medvetande ansågs under en period vara vetenskapligt suspekt. Men nu ställs alltså frågan om medveten AI inom vetenskapen.

För den som är intresserad av hur en så halsbrytande fråga kan besvaras filosofiskt och vetenskapligt, vill jag rekommendera ett intressant AI-filosofiskt tankeutbyte i den franska tidskriften Intellectica. Tankeutbytet (som är på engelska) kretsar kring en artikel av två filosofer, Jonathan Birch och Kristin Andrews, som under flera år diskuterat medvetande inte bara bland däggdjur, utan även bland fåglar, fiskar, bläckfiskar, kräftdjur, reptiler, groddjur och insekter. De två filosoferna skiljer noga mellan psykologiska frågor om vad som kan göra oss emotionellt lockade att tro att ett AI-system är medvetet, och logiska frågor om vad som filosofiskt och vetenskapligt kan räknas som evidens för medveten AI. Det är till detta logiska perspektiv som de vill bidra. Hur kan vi avgöra om ett artificiellt system verkligen är medvetet; inte bara förföras till att tro det för att systemet emotionellt övertygande speglar beteendet hos subjektivt upplevande människor? Deras grundtanke är att vi först bör studera medvetande hos ett brett spektrum av djurarter bortom däggdjuren. Dels för att människohjärnan skiljer sig alltför mycket från (dagens) artificiella system för att fungera som lämplig utgångspunkt, men framförallt för att sådan bred jämförelse kan hjälpa oss att identifiera de väsentliga dragen hos medvetandet: drag som kunde användas som markörer för medvetande i artificiella system. De två filosofernas förslag är alltså att vi, genom att utgå från olika former av djurmedvetande, bättre kan förstå hur vi filosofiskt och vetenskapligt bör söka evidens för eller emot medveten AI.

En av mina kollegor vid CRB, Kathinka Evers, även hon filosof, kommenterar artikeln. Hon uppskattar Birch och Andrews diskussion som filosofiskt klargörande och ser förslaget att närma sig frågan om medveten AI via studium av medvetandeformer hos ett brett spektrum djurarter som väl underbyggt. Hon menar dock att ett antal frågor fordrar mer uppmärksamhet. Bland annat frågar hon om inte övergången från kol- till kiselbaserade substrat fordrar större uppmärksamhet än Birch och Andrews ger den.

Birch och Andrews föreslår ett tankeexperiment där en robotråtta beter sig exakt som en verklig råtta. Den klarar samma kognitiva och beteendemässiga tester. De antar vidare att råtthjärnan avbildats exakt i roboten, neuron för neuron. I ett sådant fall, menar de, vore det inkonsekvent att inte acceptera samma smärtmarkörer som gäller för råttan även för roboten. Fallen är lika, menar de, övergången från kol till kisel ger inte tillräckliga skäl för att betvivla att robotråttan kan känna smärta när den uppvisar samma drag som markerar smärta hos den verkliga råttan. Men fallen är ju inte lika, påpekar Kathinka Evers, för den verkliga råttan är, till skillnad från roboten, levande. Om liv är väsentligt för medvetande så är det inte inkonsekvent att betvivla att roboten kan känna smärta ens i detta tankeexperiment. Någon kunde givetvis förknippa liv med medvetande och hävda att en robotråtta som uppvisar de väsentliga dragen för medvetande också måste betraktas som levande. Men om syftet är att identifiera vad som logiskt kan fungera som evidens för medveten AI så kvarstår problemet, menar Kathinka Evers, för vi behöver då klargöra hur relationen mellan liv och medvetande ska undersökas och hur begreppen ska definieras.

Kathinka Evers föreslår alltså flera frågor av relevans för vad som logiskt kan räknas som evidens för medveten AI. Men hon ställer också en mer grundläggande fråga, som kan anas genom hela hennes kommentar. Hon frågar varför frågan om konstgjort medvetande alls ställs inom vetenskapen idag. Ett av Birch och Andrews syften var som sagt att undvika att svaret styrs av psykologiska tendenser att tolka en AI som övertygande speglar mänskliga känslor som om den vore medveten. Men Kathinka Evers frågar, som jag läser henne, om inte detta logiska syfte möjligen kommer för sent. Är inte redan frågan en frestelse? AI är tränad på människogenererade data för att spegla mänskligt beteende, påpekar hon. Söker vi måhända filosofisk och vetenskaplig evidens kring en fråga som tycks betydelsefull bara för att vi har en psykologisk tendens att identifiera oss med våra digitala spegelbilder? För att en fråga ska betraktas som vetenskaplig och värd att finansieras krävs vanligen något slags initialt empiriskt stöd, men det finns överhuvudtaget ingen evidens för möjligheten av medvetande hos icke-levande entiteter såsom AI-system. Frågan om en AI kan vara medveten har inte mer empiriskt stöd än frågan om vulkaner kan uppleva sina utbrott, påpekar Kathinka Evers. Risken är stor att vi vetenskapligt försöker besvara en fråga som saknar vetenskaplig grund. Hur försiktigt vi än söker det efterlängtade svaret, så tycks frågan oförsiktig.

Jag kommer att tänka på myten om Narcissus. Efter en lång historia av avvisanden av andras kärlek (andras medvetande), förälskade han sig slutligen i sin egen (digitala) spegelbild, sökte hopplöst att krama den, och plågades sedan av en evig längtan efter bilden. Är du där? Kommer spegelbilden att svara? En AI kommer säkert att generera en respons som talar till våra mänskliga känslor.

Skrivet av…

Pär Segerdahl, docent i filosofi vid Centrum för forsknings- och bioetik och redaktör för Etikbloggen.

Birch Jonathan, Andrews Kristin (2024/2). To Understand AI Sentience, First Understand it in Animals. In Gefen Alexandre & Huneman Philippe (Eds), Philosophies of AI: thinking and writing with LLMs, Intellectica, 81, pp. 213-226.

Evers Kathinka (2024/2). To understand sentience in AI first understand it in animals. Commentary to Jonathan Birch and Kristin Andrews. In Gefen Alexandre & Huneman Philippe (Eds), Philosophies of AI: thinking and writing with LLMs, Intellectica, 81, pp. 229-232.

Detta inlägg på engelska

Vi söker klarhet

Columbo i Aten

En av de mest tidlösa TV-deckarna är antagligen Columbo. Peter Falk spelar där en frågvis poliskommissarie som ibland tycks så långt bortom vanlig tideräkning, att han kan få Los Angeles att likna antikens Aten, där en lika frågvis filosof brydde sig lika lite om sitt yttre.

Jag hoppas att du sett Columbo någon gång. Jag tar mig också friheten att inleda inlägget med att avslöja varför jag vill skriva om honom. För att han inte bara avslöjar mördarna utan samtidigt befriar dem från att leva insnärjda i sina egna lysande planer. Du minns kanske det ovanliga upplägget i serien, att vi omedelbart får veta vem förövaren är. Mördarna i serien utmärks inte bara av sin höga sociala och ekonomiska status, utan även av sin höga intelligens (och sin övertro på den). Innan mordet sker får vi följa hur genialiskt mördaren planerar sitt dåd. Syftet är att ge sken av att ha vattentätt alibi, att undvika att lämna oavsiktliga spår på mordplatsen, samt att lämna spåren som tydligt utpekar någon annan. Allt är perfekt uttänkt: PANG! I nästa scen släntrar Columbo in på mordplatsen i sin slitna rock och med en cigarr som vanligen slocknat. I ett avsnitt anländer han med ett kokt ägg i fickan som han knäcker mot mordvapnet när han inte hunnit äta frukost.

Mordet var bara förspelet. Nu börjar episoden på allvar, samspelet mellan den tankspridde Columbo och den skärpta mördaren som planerat allt i detalj och nu känner sig oövervinnelig. Särskilt med tanke på att poliskommissarien som leder utredningen uppenbarligen bara är en förvirrad stackare som ständigt fumlar efter anteckningsblock och penna och ställer ovidkommande frågor. Det här klarar jag snart av, tänker mördaren.

Columbo vet ofta omedelbart vem mördaren är. Han kan avslöja detta i ett avslutande samtal med mördaren där båda oväntat kan finna varandra och tala öppenhjärtigt, nästan som gamla vänner. Snart börjar även mördaren förstå att Columbo vet, trots att kommissariens tankspridda uppsyn först gjorde detta osannolikt. Vanligen rubbas dock inte mördarens självförtroende av att veta att Columbo vet, för allt är ju perfekt uttänkt: Columbo ”vet” utan att kunna bevisa någonting! Columbo ligger ofta sömnlös och undrar över mördarens alibi och motiv, eller om till synes ovidkommande detaljer på mordplatsen: de ”lösa trådändar” som Columbo ofta talar om, utan att mördaren förstår varför. De verkar alltför triviala för att beröra den sinnrika planen! Mördaren tycks nästan njuta av att se Columbo rådbråka sin hjärna med ovidkommande detaljer som omöjligtvis kan bevisa vad båda redan ”vet”. Mördaren anar inte att Columbos ovisshet snart bär frukt.

Slutligen lyckas Columbo knyta ihop trådändarna som mördaren inte såg betydelsen av (de såg ju så torftiga ut i jämförelse med den eleganta planen). När Columbo avslöjar hur alibit bara var skenbart, hur de uppenbara spåren avsiktligt placerats på mordplatsen, samt mördarens billigt själviska motiv, så förväntar sig mördaren att bli anhållen av Columbo. ”Nej, det kommer andra och anhåller dig senare”, säger Columbo som plötsligt tycks ointresserad av alltsammans. Columbo verkar bara ha velat avslöja den illusoriska verklighet som mördaren skapade för att vilseleda alla. Mördaren är den som först går i fällan. För att få allt att se verkligt ut måste mördaren redan från första akten leva strängt enligt den lömska planen. Kanske är det därför som mördaren ofta tycks dra en lättnadens suck i slutakten. Columbo avslöjar inte bara brottslingen, utan befriar samtidigt det kriminella sinnet från att ständigt leva instängt i sina egna beräkningar.

I samtalet på slutet tycks den annars så aktiva mördaren bedövad av Columbo, lugn och utan vinnarleende. Även mördaren är för första gången lyckligt tankspridd.

Hur lyckas Columbo avslöja den dolska planen? Vi tänker gärna att Columbo lyckas avslöja mördaren för att Columbo är ännu listigare. Om Columbo bytte sida och planerade brott så kunde ingen avslöja honom! Han vore en superintelligens som kunde tillfredsställa varje önskan, som anden i lampan. Ibland tycks även mördaren tänka i sådana banor och erbjuder Columbo anställning och lysande karriär. Med Columbo som medhjälpare vore mördaren oslagbar. Men Columbo verkar inte bry sig mer om sin framtid än om sitt yttre: ”No, never, I couldn’t do that.” Han älskar sitt arbete, förklarar han, men ger knappast intryck av att vara en poliskommissarie, utan tas ibland för en uteliggare som vänligt ombes att avlägsna sig från mordplatsen. Nunnor kan erbjuda honom mat och kläder. Är det i själva verket Columbo som sprider det vilseledande skenet? Är det han som har den överlägset slugaste planen? Är hans tankspridda uppenbarelse bara en ironisk förställning för att lura mördaren i fällan?

Columbo har säkert nytta av sin avväpnande enkelhet och tankspridda uppsyn. Men även om vi ibland ser honom gillra fällor för mördaren, så ser vi honom aldrig förklä sig till en lösdrivare. När hans fru givit honom en finare rock tycks han uppriktigt besvärad av den, som om han vore utklädd. Är Columbos förvirring trots allt uppriktig? Är det förvirringen han älskar med sitt arbete? Är det rentav förvirringen som så småningom avslöjar mördarens vattentäta plan?

Columbos kollegor är inte förvirrade. De följer polisspelets regler och har snart exakt den övertygelse som mördaren planerat åt dem enligt handboken: mördaren saknar motiv, har vattentätt alibi och kan inte bindas vid mordplatsen. Teknisk bevisning pekar tvärtom tydligt i annan riktning. Om kollegorna ledde utredningen skulle mördaren redan ha strukits från listan över misstänkta. Så här kan en poliskollega klaga när han upplever att Columbo sinkar utredningen genom att inte följa den kriminella spelledarens plan:

Sergeant Hoffman: Now what do you think Lieutenant, do you really think that Deschler didn’t shoot Galesko in the leg?

Columbo: I’ll tell you something, Sergeant, I don’t know what to think.

Skadeskjutne Galesko är i själva verket mördaren. Han sköt sig själv i benet efter att ha dödat Deschler, för att få mordet att se ut som självförsvar mot ”hustruns kidnappare”. Hustrun har Galseko redan mördat, efter att ha iscensatt kidnappningen och placerat ut spåren som utpekar Deschler. Varför mördade Galesko hustrun? För han kände att hon förmörkade hans lysande framtid. Mördarna i TV-serien planerar inte bara sina dåd, utan även sina liv. Utan idéer om lysande framtidsutsikter skulle de sakna motiv att planera mord.

Varken mördaren eller kollegan tvivlar, utan sover gott. Endast Columbo är vaken: ”I don’t know what to think.” Därför försöker han knyta ihop lösa trådändar. I likhet med filosofen Sokrates i antikens Aten, vet Columbo att han inte vet. Därför plågar han mördaren (och kollegorna) med sina enerverande frågor som inte tillhör spelet utan snarare kretsar omkring det. Nu vill du nog rikta Columbos berömdaste replik mot mig: ”Oh, just one more thing!” För sa jag inte att Columbo omedelbart vet vem mördaren är? Jo, det sa jag. Columbo ”vet” redan vem mördaren är. Hur? Vet han det genom sin överlägsna intelligens som blixtsnabbt avslöjar alltsammans? Nej, utan för att mördaren inte reagerar som någon som inte vet. När mördaren informeras om mordet reagerar mördaren märkligt: som någon som redan vet. Bristen på förvirring är mördarens kännemärke.

När Columbo avslöjat härvan av tankar som redan i första akten snärjde mördaren, går förövaren i fängelse utan att klaga. Handbojor är överflödiga när de egentillverkade äntligen låsts upp. Columbo har lugnat det kriminella sinnet. Brottslingen är fri från mordplanen som skulle säkra framtidsplanen. Plötsligt är allting verkligt, bara verkligt.

Bara en sak till: Ha en riktigt god jul och planera inte för mycket!

Skrivet av…

Pär Segerdahl, docent i filosofi vid Centrum för forsknings- och bioetik och redaktör för Etikbloggen.

Dialogen mellan Hoffman och Columbo är från episoden Negative Reaction (1974). Tillbakavisandet av karriärerbjudandet är från The Bye-Bye Sky-High I.Q. Murder Case (1977).

Bilden är AI-genererad i Microsoft Designer av Ashkan Atry.

Detta inlägg på engelska

Vi tänker om tänkande

AI är svaret! Men vad är frågan?

Många projekt är på gång i Sverige gällande AI-system i sjukvården. Det testas för fullt. Men många system verkar inte komma till användning. Varför? Ofta handlar det om dåligt förarbete. Utan en genomtänkt strategi och tydliga mål riskerar vi att skala upp AI-system som inte klarar av vårdverklighetens komplexitet.

Det kan nästan bli lite religiöst kring satsningarna på AI. Man får inte vara negativ eller ställa kritiska frågor. Då blir man snabbt stämplad som en cyniker, som en bromskloss som inte förstår tidens tecken. Det är som om man måste göra sig blind för potentiella fallgropar, som om man måste tala och bete sig som en sann troende. Många motiverar det ivriga AI-testandet med att vi måste våga prova för att se vilka lösningarna som faller ut som lyckade. Det är fascinerande hur gärna vi vill applicera AI på allt möjligt. Men gör vi det på rätt sätt, eller riskerar vi att ånga på utan att tänka efter?

Det finns verkligen reella ekonomiska och praktiska utmaningar inom vården. Det handlar inte bara om brist på ekonomiska resurser, utan även om brist på personal och specialister. Innan vi kan låta teknologier som AI bli en del av vår vardag, måste vi ställa oss några viktiga frågor: Vilka problem försöker vi lösa? Hur påverkar våra lösningar de människor som är involverade? Vi kan också behöva klargöra om syftet med AI-systemet är att närmast ta över en hel arbetsuppgift eller snarare underlätta vårt arbete i vissa väldefinierade avseenden. Utvecklingen av AI-produkter bör också vara extra uppmärksam på socialt skapade grupperingar som etnicitet och genus för att undvika att förstärka befintliga ojämlikheter genom snedvridande val av data. Etiskt genomtänkta AI-implementeringar leder förmodligen till bättre kliniska resultat och en mer effektiv och ändamålsenlig vård. Det är enkelt att fatta förhastade beslut som snart visar sig vara felaktiga: noggrannhet bör alltid prioriteras. Bättre att tänka rätt och långsamt än snabbt och fel. Kliniska studier bör genomföras även på till synes inte så avancerade AI-produkter. Inom radiologin är denna tradition väl etablerad, men den är inte lika tydlig inom primärvården. Om ett arbetssätt ska förändras med hjälp av AI, bör man utvärdera vilka effekter det kan få.

Tre saker får vi således inte slarva med: Vi måste först och främst definiera behovet av en AI-lösning. Vi måste därefter tänka efter så att inte AI-verktyget tränas med snedvriden data. Slutligen måste vi utvärdera AI-lösningen innan den sätts i verket.

Med den snabba datainsamling som appar och digitala verktyg idag tillåter är det viktigt att inte ryckas med, utan att noga överväga etiken kring design och införande av AI. Dessvärre har mantrat blivit: ”Har vi data så bör vi utveckla en AI.” Och det mantrat misstänkliggör den som frågar ”Varför?” Men frågan måste ställas. Den hindrar inte utvecklingen av AI-lösningar utan bidrar till den. Genomtänkta etiska överväganden leder till högre kvalitet på AI-produkten och stärker trovärdigheten för implementeringen.

Jag vill alltså varna för att förföras av tanken om AI-lösningar på allt möjligt. Innan vi säger att AI är svaret måste vi fråga oss: Vad är frågan? Bara om vi kan definiera en verklig fråga eller utmaning kan vi säkerställa att teknologin blir en hjälpande hand istället för en börda. Vi vill inte med jämna mellanrum hamna i situationen att vi plötsligt måste dra i nödbromsen, som i Västragötalandsregionens miljardsatsning Millenium. Vi får inte fastna i tankemönstret att vi kan göra allt snabbare och enklare om vi bara inför AI. Inte heller får vi låta oss styras av rädslan att vi hamnar på efterkälken om vi inte inför AI snarast möjligt. Bara en genomtänkt behovsanalys, design och utvärdering kan säkerställa ändamålsenlig vård som också är effektiv. För att få korrekta svar snabbt måste vi först ge oss tid att tänka efter.

Skrivet av…

Jennifer Viberg Johansson, docent i medicinsk etik vid Centrum för forsknings- och bioetik.

Detta inlägg på engelska

Vi ställer frågor

Filosofi på en stol

Filosofi är en ovanlig verksamhet, bland annat för att den i så hög utsträckning kan bedrivas stillasittande. Filosofer behöver inga forskningsfartyg, laboratorier eller arkiv för att arbeta med sina frågor. Bara en stol att sitta på. Varför är det så?

Svaret är att filosofer granskar våra sätt att tänka, och vi är aldrig någon annanstans än där vi är. En stol tar oss precis så långt vi behöver: till oss själva. Filosoferandet på stolen kan naturligtvis se självupptaget ut. Hur kan vi lära oss någonting väsentligt av ”tänkare” som varken tycks förflytta sig eller se sig omkring i världen? Om vi råkar se dem där de sitter alldeles stilla på stolen och tänker, så kan de onekligen se ut att vara avskärmade från den komplexa värld som vi andra måste leva och orientera oss i. Genom sitt fokus på mänskligt tänkande kan filosofin tyckas bortse från vår mänskliga värld och inte vara till någon glädje för oss andra.

Vad vi förbiser med en sådan invändning mot filosofin, är att vår komplexa mänskliga värld i hög utsträckning redan reflekterar våra mänskliga sätt att tänka. I den utsträckning som dessa sätt att tänka är förvirrade, begränsade, ensidiga och orättvisa, kommer även vår värld att vara förvirrad, begränsad, ensidig och orättvis. När vi lever och rör oss i denna mänskliga värld, som reflekterar våra sätt att tänka, kan man då inte säga att vi lever en smula inåtvänt, utan att vi noterar det? Vi agerar i en värld som återspeglar oss själva, däribland bristerna i våra sätt att tänka.

I så fall är det kanske inte så introvert att sätta sig ner och granska dessa sätt att tänka? Tvärtom tycks detta kunna befria oss och världen från mänskliga tankemönster som ibland begränsar och förvränger våra perspektiv utan att vi inser det. Naturligtvis vidgar även forskningsfartyg, laboratorier och arkiv våra perspektiv på världen. Men det visste vi redan. Jag ville bara öppna ögonen för en mer oväntad möjlighet: att även en stol kan ta oss långt, om vi bedriver filosofi på den.

Skrivet av…

Pär Segerdahl, docent i filosofi vid Centrum för forsknings- och bioetik och redaktör för Etikbloggen.

Detta inlägg på engelska

Vi tänker om tänkande

« Äldre inlägg