'

Philosophy Kitchen Backup


Riproponiamo in veste di longform l'introduzione di Carlo Deregibus all'ultimo numero di Philosophy Kitchen, PK#19 - Fuori Tema I (scaricabile qui), apparsa con il titolo Il crepuscolo dei raminghi. Fenomenologia della ricerca contemporanea (qui in versione PDF). La preparazione di questo numero ci ha spinto a riflettere sul significato del fare ricerca accademica oggi e, in senso più intimo, sul senso che questa attività può, o non può più, avere per chi vi si impegna quotidianamente.


Polverizzata

Mai nella storia si è scritto tanto.

Romanzi, racconti, persino poesie, stanno conoscendo una fioritura insospettata e forse insperata, favorita dalle pratiche di self-publishing (Facchini 2022): ma è anche e forse soprattutto nel campo della conoscenza che la crescita è incredibile. In tutti i variegati e sempre più frammentati campi del sapere, che si tratti delle cosiddette STEMM (Science, Technology, Engineering, Mathematics, Medicine) o delle HASS (Humanities, Arts, Social Sciences), il tratto più evidente della produzione accademica è infatti ormai il suo costante, esponenziale, inarrestabile incremento quantitativo. Un vero e proprio boom arrivato, ad esempio, a sfondare agilmente la soglia dei 5 milioni di articoli scientifici pubblicati all’anno, sparsi su oltre 45.000 riviste – erano la metà solo un decennio prima (Curcic 2023). Naturalmente l’articolo, per quanto variamente definibile, è la principale forma scritta dell’accademia e, quindi, il principale mezzo di diffusione e disseminazione: ma al suo fianco, soprattutto nelle HASS, resiste la monografia, pure in grande crescita. Ad esempio nel 2020, un’indagine tra le maggiori case editrici inglesi (di cui quindici University Press), segnalava oltre 32.000 volumi pubblicati, ben 8 volte di più rispetto a vent’anni prima (Shaw et al. 2023). Che poi, a dir la verità, questi numeri potrebbero essere largamente al ribasso: perché ovviamente derivano da banche dati la cui completezza è eccezionalmente variabile a seconda del luogo, del contesto, della disciplina e dell’accuratezza della ricerca. Ad esempio, l’autorevole DBLP.org, catalogava nel 2022 oltre 2,6 milioni di articoli e 120.000 monografie, oltre a proceedings e altre pubblicazioni che portavano il totale a sfiorare i 6,5 milioni di contributi: e questo solo considerando, con una lettura trasversale sulle STEMM, quelli riguardanti la Computer Science! Quindi probabilmente, con tracciamenti altrettanto precisi su tutti gli argomenti, tra articoli, libri, atti, e note, la produzione scientifico-accademica annua supererebbe di slancio i 20 milioni di contributi, o magari persino i 50. Ma l’esatto numero di milioni non conta troppo: ciò che invece conta è l’ordine di grandezza cui siamo giunti. Tutto lo scibile umano ai tempi della Biblioteca di Alessandria stava in 500.000 rotoli o poco più: ogni anno noi produciamo 10, 20, 50 volte tanto.

Certo, quelle milioni di pubblicazioni potrebbero anche non essere tante, se guardate in un’ottica di sistema della ricerca: il loro numero parrebbe infatti proporzionale a quello dei ricercatori. Solo che, come per i prodotti della ricerca, anche il numero degli autori è ampiamente variabile a seconda delle banche dati su cui il calcolo si basi. Così alcune statistiche riportano un roboante totale mondiale di quasi 10 milioni di ricercatori (Ioannidis 2023), numero sensatamente proporzionale ai contributi ma ottenuto computando chiunque abbia anche solo il proprio nome su una banca dati. Le statistiche Eurostat disponibili su ec.europa.eu riportano un numero più basso, sotto ai 6 milioni globali, di cui circa 2 in Europa: tuttavia anche questo computo riunisce indifferentemente il mondo accademico e quello della Ricerca e Sviluppo (o R&D), che anche solo per ragioni di segreto industriale contribuisce in modo trascurabile alla produzione di articoli e volumi, e per di più include anche tutto lo staff tecnico e di supporto. Alla fine, depurando i dati, risulta una stima di circa 250.000 ricercatori europei in ambito universitario e di centri di ricerca: supponendo, piuttosto spensieratamente, una dinamica lineare nei dati, il totale mondiale non supererà le 800.000 unità.

Dopodiché, pur ipotizzando salomonicamente 1 milione di autori e 10 milioni di contributi annui, mettere in relazione autori e prodotti rimane un esercizio di insospettabile fantasia. Ad esempio perché, storicamente nelle STEMM ma sempre più anche nelle HASS, gli articoli e i libri hanno spesso firme multiple, magari perché si tratta di lavori svolti in team – per i curiosi, l’hyperauthorship finora più clamorosa ha visto 5.154 autori collaborare a un singolo articolo, ovviamente costituito per 3/4 dall’elenco stesso di nomi (Aad et al. 2015, cfr. Cronin 2001). Tuttavia il meccanismo di firma multipla si presta perfettamente a una devianza artificiosamente tesa a moltiplicare le pubblicazioni: se tre autori si alleassero co-firmando tutte le loro pubblicazioni, è ovvio che nel curriculum di ciascuno ne figurerebbero il triplo che se agissero in solitaria, con ovvi vantaggi – come dire che il branco sopravvive al singolo. Questo vantaggio, in termini curriculari, viene ormai scientemente coltivato attraverso una tattica tanto ovvia quanto entropica, cioè frammentando il contenuto di un paper: in fondo, se si scopre qualcosa, perché pubblicare un solo articolo, quando se ne possono ricavare una decina? Basterà ridurre il contenuto effettivo dell’articolo, occupando il resto con la costruzione dello stato dell’arte (cfr. West & Bergstrom 2021). Complemento indispensabile alla frammentazione è l’autocitazione, un doping nel quale peraltro i ricercatori italiani paiono insuperabili (Baccini 2023). Il combinato disposto di queste tendenze è così perverso che alcuni studiosi – in rapida crescita – arrivano a firmare addirittura oltre 200 pubblicazioni all’anno (Ioannidis et al. 2023).

Dunque, non solo si scrive tanti in termini assoluti, ma la scrittura ha ormai una dimensione quasi patologica.


Misurabile

Ma non ci si dovrebbe stupire: nella ricerca contemporanea, la regola è publish or perish (Rawat & Meena, 2014).

Queste statistiche esistono non perché qualche bottonologo abbia deciso di sfogare la sua insaziabile fame computando tutto lo scibile umano, ma perché su di esse si basano ranking e valutazioni. Non inutili sono quindi gli scritti che affollano il mondo, almeno non nel senso dato oltre due secoli fa dall’abate Dinouart (1989): solo, la loro importanza va compresa non dal punto di vista dell’enciclopedia e secondo un metro contenutistico, ma dal punto di vista del singolo e secondo il metro della carriera. Avanzamenti, finanziamenti, riconoscimenti, sono infatti ormai strettamente legati alla produttività, in un’incontrollata frenesia che, letteralmente, pesa i paper – benché elettronici – invece di guardarne i contenuti (Hanson et al. 2023). A riscontrare questa deriva c’è l’abitudine, ormai regola nelle STEMM e in generale nelle discipline dette “bibliometriche”, di stabilire il valore dei contributi e, quindi, dei relativi autori sulla base di criteri oggettivi. Nascono così commissioni dedite a decidere il valore o la classe delle riviste e, parallelamente, metodi analitici che assegnano punteggi ai ricercatori secondo indici e statistiche – il più noto dei quali è l’H-index, basato sul numero di citazioni (Hirsch 2005). A dire il vero, la validità di simili indici viene spesso messa in dubbio (cfr. Koltun & Hafner 2021), e qualche perplessità potrebbe sorgere anche solo considerando che Andrew Wiles – colui che ha dimostrato il Teorema di Fermat – avrebbe un H-index di 15, e Albert Einstein non supererebbe il 56 (Gingras et al. 2020): numeri molto distanti da quelli dei più performanti scienziati in attività, ormai lanciati verso il 300 – per chi voglia seguire la gara, molto serrata, consiglio il sito https://research.com/ (cfr. Giudici & Boscolo 2023). Ora, la tecnicalità cui il mondo della valutazione può giungere è tale da essere inaccessibile alla descrizione verbale (cfr. Ioannidis et al. 2019). Ma se la questione si limitasse a una gara, se ne potrebbe anche sorridere: in fondo, l’esigenza di stilare classifiche è innata nell’animo umano, che si tratti della bontà di un vino o delle prestazioni di un atleta, dello scatto di un’automobile o dei risultati di un trader. Solo che gli effetti di questo sistema sono ampi e disturbanti in molti sensi. Perché quando il lavoro di ogni scienziato viene distillato in un numero, lo scienziato diventa quel numero – chissà che, come nelle gare di arti marziali dove (ahimè) ci si presenta dichiarando il colore della propria cintura, anche nei convegni non ci si introdurrà con il proprio punteggio. E la logica dei ranking e delle misure non si limita alla dimensione individuale: il peso dei singoli si cumula infatti in gruppi di ricerca, dipartimenti, atenei, secondo una modalità incrementale che non lascia scampo. Ogni dimensione istituzionale ha ormai i suoi ranking, come la quadriennale Valutazione della Qualità della Ricerca (VQR) – che valuta atenei e dipartimenti a livello italiano – o i vari QS World University Rankings (QSWUR), Academic Ranking of World Universities (ARWU) o Times Higher Education (THE) – che li classificano a livello mondiale. E come nel caso dei singoli, la sempre maggiore rilevanza dei ranking ha prodotto l’effetto distorsivo di trasformarli da misura a obiettivo, da aggettivazioni a sostantivazioni, da mezzo a fine – una whiteheadiana “concretizzazione mal posta” tanto classica da essere codificata come legge di Goodhart.

Uno studio UNESCO di oltre dieci anni fa, oltre a mettere in luce molti di questi problemi, mostrava che già allora gran parte delle università faceva le proprie scelte strategiche solo in base a quanto esse avrebbero migliorato i ranking (Marope et al. 2013). Famoso il caso francese dell’Université Paris-Sanclay, assemblata nel 2014 attraverso la fusione di 19 atenei e centri di ricerca, “consorziati” con il solo fine di classificarsi meglio nei ranking – obiettivo peraltro solo parzialmente riuscito (Le Nevé 2020, Monaco 2022). Spudorato il ricorso delle università americane al land-grabbing per ottenere fondi e, cogliendo due piccioni con una fava, migliorare i ranking nel rapporto edifici/superficie – una pratica che si sta ora estendendo anche al di fuori degli Stati Uniti (Vidal & Provost 2011, cfr. www. landgrabu.org). Attuale il gran rifiuto dell’Università di Utrecht che, pur ben piazzata nei ranking, ha deciso di sottrarsi a una logica competitiva diventata asfissiante, sfilandosi dal THE (Knobel 2023). Casi estremi, certo, ma sintomi di un atteggiamento comune e, forse, di un problema più profondo (Brink 2018). Ma le critiche sembrano scarsamente efficaci. Un recentissimo rapporto della federazione degli atenei olandesi, Universities of The Netherlands (UNL), denunciava gli effetti drammatici dei ranking, e ad esso era seguita un duro comunicato del presidente di UNL che dichiarava la volontà di staccarsi progressivamente dal giogo dei ranking: curiosamente però, il report è immediatamente scomparso dal sito web ufficiale della federazione, sopravvivendo solo nelle tracce di quei siti abbastanza rapidi da rilanciarne i giudizi, come Recognition & Rewards (2023) (per chi voglia recuperare il report nei meandri del dark web l’indirizzo è: https://www.universiteitenvannederland.nl/en_GB/nieuws-detail. html/nieuwsbericht/915-p-dutch-universities-to-take-different-approach- to-rankings-p).

Una mossa inquietante, certo, ma che non dovrebbe sorprendere. Non solo di ideali, scienza e concetti, si tratta infatti: ma anche – anzi, quasi solo – di vile denaro.


Neoliberale

Si consideri un’università del cosiddetto primo mondo: essendo parte di un ecosistema altamente sviluppato, potrebbe proficuamente concentrarsi su ricerca di punta e su trasferimento tecnologico (la seconda e la terza missione universitaria). Al contrario, atenei di paesi meno avanzati potrebbero (dover) essere più concentrati sulla didattica (la prima missione universitaria). Ma guarda caso, le missioni non pesano allo stesso modo nei ranking, che così finiscono per riflettere il background socioeconomico degli atenei, in una polarizzazione in cui le élite sono sempre più esclusive e gli atenei più svantaggiati – in senso economico come geopolitico – sono marginalizzati (Downing 2012, Hazelkorn 2019). Una dinamica che premia solo poche centinaia di atenei, relegandone decine di migliaia ad un’anonima mediocrità. E si tratta di una dinamica tanto globale quanto locale: in Italia, il divario tra atenei del nord e del sud è in continua crescita anche perché una consistente parte del Fondo per il Finanziamento Ordinario delle università è assegnata su base premiale (cfr. Camera dei Deputati 2021, Mariani & Torrini 2022). Cioè proprio in base ai ranking. E questa quota continua di fatto a salire: ufficialmente dal 2% del 2008 al 30% del 2023, ma di fatto anche di più – sommando le quote per iniziative che a loro volta dipendono da merito e ranking come i Dipartimenti di Eccellenza, si arriva oltre il 35% (CUN 2023).

Così, la crescita delle università è proporzionale alla ricchezza locale o sovra-locale e non, come certe retoriche vorrebbero, ad essa prodromica: infatti dominano le classifiche gli atenei statunitensi e nord-europei affiancati, negli anni recenti, da quelli dell’estremo oriente e del sud-est asiatico. È una corsa che ognuno corre come può. Da un lato, promuovendo investimenti pubblici nei soli atenei potenzialmente forti, concentrandovi le risorse – come nel giapponese Top Global University Project – magari a scapito di quelli deboli e ignorando gli esiti sulla formazione – emblematico in questo il caso cinese (De Giorgi 2007). Dall’altro, attraverso politiche di internazionalizzazione, che troppo spesso poco guardano agli esiti in termini di qualità e opportunità di crescita, e peraltro sono spesso portate avanti senza chiari indirizzi etici (Van Onselen 2023). Ma soprattutto, con un vero e proprio mercato dei ricercatori: una headhunting dove la più ambita skill (naturalmente gli anglicismi dominano) è quella di conquistare grant, cioè fondi di ricerca (cfr. Stoff 2020): i risultati potranno poi essere anche modesti o addirittura irrilevanti, purché il flusso di denaro continui ininterrotto (cfr. Jacob & Lefgren 2011, COPE & STM 2022, Chen 2023).

Nulla di tutto ciò dovrebbe stupire: gli organismi di certificazione sono, a loro volta, entità impegnate a creare e dominare quote di un mercato, in modo analogo, per dire, alle agenzie di rating finanziario o di certificazione energetica. Per farlo, certo lavoreranno a un’offerta che possa intercettare le varie fasce di utenza: ad esempio, per attirare gli atenei meno performanti, in aggiunta al ranking principale (di cui ogni audit costa qualche decina di migliaia di dollari), QSWUR ha creato anche un programma secondario, QSStars, che a costi lievemente inferiori concede riconoscimenti su temi specifici, in modo che ogni università possa vantare almeno una qualche qualità (Guttenplan 2012). Ma soprattutto, si impegneranno per la legittimazione del mercato dei ranking e la loro naturalizzazione. Questo è infatti il vero capolavoro neoliberale: il passaggio da misura, a pratica, a principio morale, a norma, in un sistema coerente e completo. Così nella ricerca, il mercato è stato creato con la descrizione politica della sua utilità in termini di impatto sociale (Blasi 2023); da qui deriva logicamente una definizione di qualità come performance; ne segue una necessità morale di favorire i meritevoli che legittima, a quel punto, una promozione normativa di quelle medesime pratiche di misura, rendendole obbligatorie.

La logica neoliberale emerge anche retrocedendo dai misuratori ai fenomeni misurati: in fondo, se i ricercatori sono costretti a pubblicare tantissimo per rispettare i meccanismi valutativi, perché farglielo fare gratis? Così, in questa continua crescita, il mercato delle pubblicazioni vale ormai 28 miliardi di dollari all’anno, sostanzialmente generati da fondi di ricerca (STM 2021). Il modo più ovvio e insieme meno palese per avviare il travaso di fondi pubblici ai privati è infatti, banalmente, la pubblicazione di un libro, o magari di una collettanea di testi, se non si ha l’energia o lo 12 spunto per una monografia inedita: in ogni caso, l’uscita sarà quasi sempre direttamente pagata dall’autore per centinaia o a volte migliaia di euro o dollari. Lo stesso accade per gli articoli scientifici, per la pubblicazione dei quali gran parte delle riviste richiede compensi di analogo importo per non meglio dettagliate spese. E questo nonostante la dematerializzazione che dovrebbe, teoricamente, ridurre i costi: anzi ormai si assiste a una intensificazione quasi grottesca delle uscite periodiche, con riviste semestrali che diventano settimanali, singoli numeri da decine di migliaia di pagine, e sempre più frequenti numeri speciali monografici che affiancano le uscite periodiche (Hanson et al. 2023). Chiaramente, tattiche reciprocamente valorizzate dalla frammentazione dei contenuti e dalla moltiplicazione dei contributi prima accennata. Un altro modo per favorire questo travaso di fondi è il grande sistema internazionale dei convegni, che ha indotti multimiliardari (cfr. EIC 2018) – come per le pubblicazioni, ovviamente, non si mette in dubbio la loro utilità tout court: solo sorprende lo scarso ricorso a sistemi online, anche dopo l’evento pandemico e nonostante i potenziali effetti positivi in termini di sostenibilità e inclusività (Sarabipour et al. 2021).

Ma la ragionevolezza soccombe di fronte a un sistema tanto pervasivo, in cui diventa coerente e sensato sostenere che sia moralmente corretto aumentare le tasse (QS 2018), che sia positivo estendere ranking e misure ai livelli inferiori della didattica (come in Italia fa il progetto eduscopio.it), che sia giusto che i ricercatori forniscano gratuitamente le peer review (quelle milioni di revisioni su cui si basano tutte le pubblicazioni), o che in generale la mostruosa accelerazione nelle pubblicazioni sia associabile a un concetto di crescita inevitabilmente positivo. Ma è davvero così? Perché certo, scrivere si scrive tanto. Ma poi chi legge tutta questa montagna di parole?


ricerca

Surfabile

L’esito paradossale di questa frenesia produttiva è infatti che ciò che conta davvero è pubblicare: essere letti è un optional, al più benvenuto per alcune discipline. Su questo, i numeri delle monografie sono rivelatori: il tiraggio medio dei nuovi libri è infatti attorno alle 300 copie (Shaw et al. 2022), e questo significa che i lettori non superano il numero di studenti a cui il libro è verosimilmente imposto come testo didattico. Sugli articoli, le statistiche mostrano una certa vivacità interpretativa, ma restituiscono un quadro altrettanto sorprendente, e desolante. Già un famoso position paper di una quindicina di anni fa affermava che oltre il 50% dei contributi non viene mai letto, nemmeno una volta (Meho 2007). Altri studi hanno poi articolato la cifra secondo le discipline, con percentuali di articoli mai letti comprese tra il 12% e l’82% (!) di quelli prodotti (Larivière et al. 2009): dunque gli esiti sono mediamente simili, ed anzi parrebbe conclamato che in certi campi la produzione di carta inutile sia davvero spudorata. Però il problema è come stimare la lettura di un prodotto: ogni metodo avrà infatti bias e difetti, e non sembra vi sia una soluzione sia semplice da computare sia davvero rappresentativa (King et al. 2006). Così si è per lo più adottato, in nome di un’astratta idea di oggettività, il parametro in effetti più funzionalista: cioè il numero di citazioni (sì, proprio il parametro che avrebbe mediocrizzato Einstein e Wiles).

Provando però a superare questa unità di misura, i dati si prestano a varie considerazioni. La prima, ovvia ma forse non abbastanza, è che non perché un testo non sia stato citato allora non è stato letto e, al contrario, non perché sia stato citato, significa che abbia qualche rilevanza. Magari la citazione è funzionale al contesto o alle peer review, e la si fa senza neppure aver sfogliato lo scritto – tanto chi potrà mai scoprirlo? O magari, bisogna inserirla perché ci si riferisce ad autori con cui si ha un rapporto, diciamo, di prossimità – qualcuno ha pensato ai baroni universitari e alle logiche di costruzione delle “scuole di pensiero”? O ancora, non si citano autori che si è letto perché, semplicemente, li si considera definitivi su un argomento – Einstein potrebbe essere tra questi, di sicuro lo è Andrew Wiles. Oppure la citazione c’è stata ma, banalmente, non in un testo le cui references siano inserite in banche dati online – che, come abbiamo visto, mostrano ampie inconsistenze (Larsen & Von Ins, 2010). In ultimo, nulla vieta, in un impeto di interdisciplinarità o di semplice curiosità, di leggere contributi non propriamente coincidenti con le proprie attività scientifiche: testi che quindi saranno sì letti nel mondo reale, ma non nel dato rilevato. In ogni caso, ciò che è sicuro è che citazione e lettura vengono artificialmente sovrapposti, mal concretizzando una proprietà – l’essere letto – in un’altra – l’essere riusato in altri lavori: di nuovo, subdolamente, definendo la qualità solo in base all’utilità.

Insomma, quanto si legga, non si sa. Ma supponiamo salomonicamente che metà degli scritti riceva una qualche attenzione: almeno questi verranno davvero letti? Una (ennesima) statistica, basata su una serie di interviste e con dati comparati nell’ultimo cinquantennio, ha sancito che ogni scienziato legge in media 252 contributi all’anno: le STEMM poco sopra, e le HASS poco sotto (Tenopir et al. 2015). Potrebbe sembrare un numero astronomico – in fondo si dicono “lettori forti” quelli che leggono tra gli 11 e i 20 libri all’anno – ma deve essere rapportato alla natura dei “contributi”: in gran parte articoli scientifici, magari ostici ma relativamente brevi. Il medesimo studio stima in 32 minuti il tempo di lettura medio e, facendo due calcoli su una lunghezza media di 40.000 battute, ciò sembrerebbe coerente con altre statistiche relative al tempo di lettura medio (Brysbaert 2019). Ma questi numeri sono una media complessiva, che include volumi – ovviamente più impegnativi – e brevi contributi. Sui soli articoli, altri studi hanno infatti evidenziato un tempo di lettura di soli 13,3 minuti, cui dedurre ancora il tempo necessario alla loro ricerca: rimarrebbero così solamente 6 minuti a contributo (Tenopir & King, 2002). Ora, ci sono varie possibilità per interpretare questo dato. Una prima è che il campione statistico di queste rilevazioni sia composto da persone inconsapevolmente accomunate da una insolita, anzi straordinaria velocità di lettura. Una seconda è che nel campione statistico siano prevalenti articoli e contributi insolitamente, anzi straordinariamente brevi. Una terza è che i ricercatori dichiarino un numero di contributi letti insolitamente, anzi straordinariamente superiore al dato reale, magari per semplice vanità. Ma la mia ipotesi è che, a parte per coloro che siano davvero in grado di leggere molto rapidamente, il problema stia nel concetto stesso di lettura.

Un concetto tendenzialmente antiquato, ancora valido per la narrativa ma poco adatto alla contemporanea dimensione accademica e scientifica. Al giorno d’oggi, tra gli articoli, si surfa, limitandosi a coglierne il senso tramite le keywords o a una rapida scorsa superficiale occasionalmente approfondita (cfr. Blackburn 2010). Magari perché ne è liberamente consultabile solo un estratto o l’abstract – peraltro l’Open Access è tema eticamente ovvio ma economicamente incerto, perché l’accesso a pagamento da un lato garantisce agli editori lauti abbonamenti per l’accesso da parte degli atenei, ma dall’altro riduce citazioni e visibilità delle pubblicazioni (Evans & Reimer 2009; Piwowar et al. 2018). Ma più probabilmente perché si saltano a piè pari tutta una serie di parti – stato dell’arte, ricerche precedenti, metodologia e bibliografia – limitandosi a (cercare di) cogliere il nocciolo della questione e, nel caso, a fare puntuali letture complete: a tal proposito, mi segnalano un saggio fondamentale per capire la questione, Come parlare di un libro senza averlo mai letto di Pierre Bayard – chiaramente, io non l’ho letto. Non che le parti saltate siano inutili: ad esempio, servono perché l’articolo passi la peer review – che probabilmente Einstein, con il suo striminzito articolo sulla Relatività del 1905, non avrebbe passato. Ma fin troppo spesso sono ignorabili: perché, banalmente, si sa già cosa ci si troverà.


Iterativa

Ma lungi da me qualsiasi condanna morale. Il fatto, anzi, è che surfare gli articoli è del tutto coerente con lo scopo del ricercarli e del citarli: cioè avere mattoni su cui costruire un muro, assemblando pezzi del già noto in forme lievissimamente variate. Ed è del tutto diverso dal leggere: cosa che qualsiasi ricercatore fa, ma certo solo con pochi dei 252 testi annui in cui mediamente si imbatte.

Naturalmente questa dinamica non sarebbe possibile senza il web, senza i motori di ricerca contemporanei, senza una lingua come l’inglese internazionale, senza un formato di interscambio universale come il PDF: ma al tempo stesso, proprio il web, i motori di ricerca, l’inglese internazionale e il formato universale rendono in effetti inevitabile questa evoluzione del fare ricerca (Bello & Galindo-Rueda 2020; Van Meeteren 2022). È un tipico esempio del fatto che la tecnologia non sia moralmente connotata né, tantomeno, in rapporto duale con una supposta natura: ma che, nel gioco sistemico in cui si evolve, essa irriti e influenzi altri sistemi magari già naturalizzati, spostandoli verso configurazioni differenti che vengono nuovamente, e inevitabilmente, naturalizzate, producendo così circolarmente nuove – magari inaspettate – letture del fenomeno tecnologico nel suo mutarsi (Carpo 2017). Rispetto agli scritti, questa nuova configurazione è composta da una sempre maggior porzione iterativa che precede, costituendone una sorta di allegato anticipato, una sempre minor porzione significativa – quella su cui si concentrerà la lettura. E questa disproporzione viene a sua volta esaltata dai meccanismi adattivi della ricerca, che privilegiano trend rispetto ad iniziative singole, estemporanee e magari difficili da catalogare perché interdisciplinari. Si arriva così a una lenta ma apparentemente inesorabile deriva verso la minimizzazione del contenuto significativo rispetto a quello iterato, appiattendo i contributi su una curva asintotica che tende al già noto (Evans 2008).

Un processo preoccupante non tanto, ovviamente, perché parrebbe erroneamente dar ragione a chi periodicamente afferma che non ci sia più nulla da scoprire (citando erroneamente Lord Kelvin invece di Albert Abraham Michelson, e per di più eludendone il contesto). Bensì perché estremizza, forse già oltre limite di rottura, la tradizionale alternanza di accumulazione e rivoluzione che sottende kuhnianamente il tradizionale progresso scientifico, istituzionalizzando una modalità che porta l’accumulazione a dimensioni tali da rendere forse costitutivamente impossibile l’emergenza della rivoluzione.

Questa è la condizione sistemica in cui tutti noi scriviamo e leggiamo (o surfiamo). Una condizione la cui evoluzione naturale – ma in effetti già naturalizzata – è ovviamente l’Intelligenza Artificiale. Se infatti gran parte degli allegati sono replicabili, perché non farli replicare? Perché non lasciare che sia l’IA a fare tutta la parte compilativa – cioè la gran parte di un articolo, ricordiamolo – rintracciando background, riferimenti e stato dell’arte? Perché non far sì che sia una IA a surfare per noi – soprattutto in campo umanistico dove, come abbiamo visto, la lettura è percentualmente inferiore – magari limitandoci a controllarne gli esiti? E infatti, tutto questo già avviene. ChatGPT et similia sono già utilizzati correntemente non solo per il controllo antiplagio, la traduzione in altre lingue o la formattazione dei testi, ma anche per scrivere progetti di ricerca, lettere di raccomandazione, abstract, lettere motivazionali, bibliografie, curriculum, richieste di grant e così via (cfr. Aguilar-Garib 2023, Ciaccio 2023, Gonzalo Muga 2023, Parrilla 2023, Van Noorden & Perkel 2023). Tutte cose che l’IA può non solo fare, ma anche fare meglio di un ricercatore, perché ne costituiscono il principale scopo: sfruttare i big data per creare variazioni infinite basate su analogie meta-semantiche (o para-semantiche…). Semmai, ciò che sorprende è che questa pratica, ormai comune, sia guardata in modo scandaloso, quasi che rovinasse una romantica quanto nostalgica purezza della ricerca – un po’ come credere alle dichiarazioni dei calciatori che si dichiarano da sempre tifosi della squadra in cui arrivano. Così, si invocano codici etici, fioriscono dissertazioni sui limiti da porre, si fanno liste di pro e contro, si rilasciano note che invitano gli autori all’uso “responsabile” dell’IA (cfr. Bahammam 2023, Buriak et al. 2023, Narayanaswamy 2023, Yogesh et al. 2023), in un dibattito tra apocalittici, utopisti, prudenti ed eticisti che mi sembra mancare il bersaglio (cfr. Signorelli 2023).

Più che l’uso dell’IA, infatti, il problema non sarà forse nelle condizioni che rendono il suo uso auspicabile o magari necessario? Ad esempio, nella drammatica deriva burocratica per cui ogni atto (sia esso un progetto, un articolo, un giudizio) richiede dozzine di documenti a supporto che, per forza, devono dire certe cose? Cosa si vorrà mai dire sull’impatto di un progetto di ricerca se non che sarà ampio, circostanziato, inclusivo, determinante e così via? Cosa in una lettera motivazionale, che non sia l’essere entusiasti, collaborativi, disponibili e così via? E non sarà allora ovvio sfruttare programmi nati per l’iterazione, per iterare questi contenuti? Non sarà naturale sfruttarne la potenza, magari per rispondere rapidamente alla richiesta di un revisore di aggiungere una fonte da qualche parte? E nel comprendere le potenzialità degli strumenti, non sarà ovvio a quel punto andare sempre oltre, utilizzandoli anche come vero e proprio agente esplorativo, creativo o di comprensione? Cosa che avviene già, a tutti gli effetti, in pratiche ormai diffuse a tutti i livelli (cfr. Aspuru- Guzik et al. 2018, Yuan 2023, Krenn et al. 2022). Forse allora, più che previsioni di futuri temuti o auspicati, o di limiti valicati o invalicabili, ciò che è importante rilevare è soprattutto il carattere trasformativo dell’IA (Van Noorden & Perkel 2023). Un carattere che, ripetiamolo, produce una trasformazione delle pratiche correnti e naturali verso nuove naturalizzazioni. Così come le biblioteche, date per spacciate solo qualche anno fa (TR Staff 2005), si stanno evolvendo in centri di studio – un esempio notevole è la piattaforma Eurekoi, che federa 52 biblioteche franco-belghe in un servizio di consulenze gratuito e accessibile – anche la produzione della ricerca si è trasformata, diventando sempre più polverizzata, misurabile, neoliberale, surfabile ed iterativa.


Originale?

Però, manca qualcosa, quel qualcosa che dovrebbe in teoria perdurare indipendentemente dalle riconfigurazioni del sistema. E cioè il senso stesso del ricercare: che, ontologicamente, non può rivolgersi al già dato, al già noto. L’attività di ricerca è infatti inevitabilmente legata a un elemento originale: che si tratti di scoprire oppure di comprendere qualcosa, ogni contributo di ricerca mira o dovrebbe mirare ad aggiornare, implementare, correggere, rivoluzionare le precedenze conoscenze in materia e, chissà, per i più ambiziosi o utopici, magari persino a inserirle nel più vasto sistema dell’enciclopedia dei saperi. Certo, rispetto alle visioni romantiche con le quali cresciamo in cui, ogni volta e di nuovo, si definiscono interi sistemi concettuali, è chiaro che i milioni di articoli che abbiamo guardato sembrino mirare altrove. Anzi, a numeri sempre crescenti corrispondono gradienti di originalità sempre inferiori, verso il destino di scienza come consolidamento, classificazione e reinterpretazione, che James Graham Ballard tratteggiava in The Construction City – era il 1957.

Ma nostalgia a parte, e guardata in ottica sistemica, questa particolarizzata, indefinita massa di micro-avanzamenti funziona: almeno in quei campi – squisitamente tecnologici – dove gli avanzamenti si misurano in evoluzioni (o miglioramenti, secondo il noto principio kaizen). È come se il modello sistemico replicasse le dinamiche del brainstorming su scala globale, puntando non sul talento del singolo genio ma sulla media creatività di un enorme numero di individui interagenti. Usando un esempio letterario, nella famosa trilogia di Cixin Liu (Remembrance of Earth’s Past, più nota con il titolo del primo romanzo, The Three-Body Problem) vengono fatti enormi progressi tecnologici grazie agli sforzi di un enorme numero di scienziati – e al non trascurabile sprone della potenziale estinzione dell’umanità: un principio che in crittoanalisi come nella generazione di render si chiama brute force, e che conduce alla fusione nucleare, alla mappa del cervello interattiva, alla navigazione a velocità luce e così via. Meno certo è, tuttavia, se oltre alle evoluzioni questi sommovimenti tettonici siano capaci di produrre rivoluzioni. La brute force abbatte barriere, ma non ne spiega la costruzione. Risolve problemi, ma non ne motiva l’origine. Raggiunge traguardi, ma non dà un senso alla loro ricerca. Nella sua potenza, è cieca, e non può quindi valorizzare l’originalità, che richiede attenzione, tempo, cura. Polverizzata in milioni di contributi, come potrà allora addensarsi l’invenzione, la scoperta, la concettualizzazione, producendo la rivoluzione che dovrebbe seguire l’accumulazione? Non a caso (spoiler alert!) la trilogia di Cixin Liu si conclude con l’estinzione completa e assoluta del sistema solare: nessuno si dimostra infine in grado di essere originale in senso autentico, ovvero capace di decostruire i fondamenti stessi del già-dato, assumendo tentativamente quel ruolo di distanza critica proprio di chi sia esterno a un sistema e possa quindi vederne la parzialità. E questa è una capacità intimamente, inevitabilmente, ontologicamente politica: non nel senso della politica come professione, ma della politica come riflesso sul mondo di un operare che si cura di considerare i propri effetti nel suo stesso farsi. Non è certo un caso che l’avanzamento prodigioso delle tecnologie contemporanee sia inversamente proporzionale alla capacità di definire politiche e sistemi di comprensione all’altezza.

E ciò avviene (anche) perché, in un sempre più vorticosa confezione di pubblicazioni, in una sempre più marcata parcellizzazione dei campi operativi, in una sempre più feroce protezione di nicchie di competenza autoreferenziale, spesso dimentichiamo che la ricerca è, sempre e di nuovo, una esplorazione. Ce lo ricordano quegli articoli particolarmente bizzarri che talvolta assurgono alle cronache: studi che indagano come si spezzino gli spaghetti, il mal di testa dei picchi, gli effetti della cocaina sulle api, l’efficacia delle bottiglie (piene o vuote) nello spaccare crani umani, le flatulenze dei sauropodi, se i polli preferiscano i belli (praticamente un titolo di P. G. Wodehouse), il sesso orale tra i pipistrelli e molti altri (cfr. Kluger 2015, Andrews 2017, Chu 2018). O magari quei momenti di ribellione al sistema – forse sintomi di una tendenza al burnout in drammatico aumento nel campo della ricerca (Fernández-Suárez et al. 2021) – in cui gli autori scelgono titoli particolarmente umoristici per presentare i loro serissimi lavori (Carpenter & Fritz-Laylin 2015). Certo, questi esempi potrebbero convincere chiunque a calare una scure sui finanziamenti agli autori, ma al di là dei casi più strampalati, ancora oggi le grandi rivoluzioni e le vere innovazioni sono davvero frutto perlopiù del lavoro di singoli e piccoli gruppi che continuano a procedere in modi tentativi, incerti, erranti. Stretti tra bilanci e restrizioni, i grandi gruppi di ricerca e studi evolvono, sviluppano, migliorano: ma non creano (Wu et al. 2019, AIA 2020) – che poi, lo diceva già Agatha Christie in Crooked House, era il 1949, che i soldi per la ricerca sono tendenzialmente inutili, e che le scoperte vere le fanno persone entusiaste e motivate. Solo che essere entusiasti e motivati nella ricerca contemporanea è piuttosto difficile. Perché errare in esplorazioni è faticoso, costoso e, soprattutto, pericoloso. Non tanto perché, come sempre è avvenuto, le possibilità di successo siano scarse: anzi, proprio quello dovrebbe attrarre intraprendenti e avventurosi. Ma perché staccarsi dal sistema è fin troppo spesso una condanna dal punto di vista della carriera, in particolare nell’accademia. Se per accedere ai primi concorsi è richiesto un numero di articoli superiore a quello che pochi anni fa un ordinario metteva insieme in tutta la sua carriera, è inevitabile che attenzione e forze siano riservate alla mera produzione, disincentivando quel libero errare che un tempo si chiamava ricerca di base al punto, probabilmente, da mutare la stessa forma mentis del ricercatore.

È il crepuscolo dei raminghi. E “Fuori Tema” sarà il loro rifugio. Un luogo dove esercitare un’autentica cultura del dubbio, radicale, sistemica, critica, decostruttiva, coraggiosa, enciclopedica, laica e super-disciplinare: dove potere essere davvero originali, e concedersi di nuovo il vertiginoso piacere di errare nel mare della conoscenza.



Post Scriptum: la prima call di Fuori Tema ha attratto oltre 60 proposte. Oltre i 2/3 di esse sono state ritenute non abbastanza originali in una prima selezione fatta dalla redazione. Poi, nella fase di peer review – perché Philosophy Kitchen è parte del sistema della ricerca che abbiamo descritto e, quindi, ne segue le procedure istituzionalizzate – alcuni pezzi sono stati considerati troppo audaci, o troppo poco referenziati, o entrambi. Così metà dei sopravvissuti sono stati eliminati, arrivando ai 10 pezzi finali – qui pubblicati secondo un ordine puramente alfabetico. Certo sorge un dubbio: se la forma mentis del ricercatore e quindi del revisore è quella che abbiamo descritto, peer review negative saranno frutto dell’insufficiente livello degli articoli, oppure di un’originalità non più davvero comprensibile? In altre parole, il ramingo dovrebbe gioire della promozione – e della pubblicazione che ne risulta – o della bocciatura – che potrebbe anche certificare una assoluta straordinarietà?



Bibliografia

Aad, G. et al. (2015). Combined Measurement of the Higgs Boson Mass in pp Collisions at sqrt[s]=7 and 8 TeV with the ATLAS and CMS Experiments. Physical Review Letters, 114, 191803.

Aguilar-Garib, J.A. (2023). Editor’s message: about Artificial Intelligence as a tool for writing papers. Journal of Microwave Power and Electromagnetic Energy, 57(2), 89-90.

Andrews, R. (2017). Here's a list of the darkest, strangest scientific paper titles of all time. Iflscience, 23/10/2017. https://www.iflscience.com/heres-a-list-of-the-darkest-strangest-scientific-paper-titles-of-all-time-44357

Aspuru-Guzik, A., et al. (2018). The matter simulation (r)evolution. ACS Cent. Sci., 4, 144-152.

Baccini, A. (2023). Il falso miracolo dell’università italiana dopo un quindicennio di riforme. Roars, 06/07/2023. https://www.roars.it/il-falso-miracolo-delluniversita-italiana-dopo-un-quindicennio-di-riforme/

Bahammam, A.S (2023). Adapting to the Impact of AI in Scientific Writing. Balancing Benefits and Drawbacks while Developing Policies and Regulations. Journal of Nature and Science of Medicine, 6(3), 152-158.

Bello, M. & Galindo-Rueda. F. (2020). Charting the digital transformation of science: Findings from the 2018 OECD International Survey of Scientific Authors (ISSA2). Paris: OECD Publishing.

Blackburn, J. (2010). The web surfer: what (literacy) skills does it take to surf anyway?. Composition Forum, 21, 1-15.

Blasi, B. (2023). Società e università. Valutazione e impatto sociale. Milano: FrancoAngeli.

Brink, C. (2018). The soul of a university: Why excellence is not enough. Bristol: Bristol University Press.

Brysbaert, M. (2019). How many words do we read per minute? A review and meta-analysis of reading rate. Journal of Memory and Language, 109, 104047.

Buriak, J.M. et al. (2023). Best Practices for Using AI When Writing Scientific Manuscripts. ACS Nano, 17(5), 4091–4093.

Camera dei Deputati (2021). Il Fondo per il finanziamento ordinario delle università. Parlamento Italiano, 16/02/2021. https://temi.camera.it/leg18/post/il_fondo_per_il_finanziamento_ordinario_delle_universit_.html 

Carpenter, M. & Fritz-Laylin, L. (2015). Scientists’ Silly, Dark, and Sometimes Inappropriate Humor. Slate, 15/12/2015. https://slate.com/technology/2015/12/the-best-funny-clever-or-offensive-science-paper-titles.html

Carpo, M. (2017). The Second Digital Turn. Design beyond Intelligence. 2017. Cambridge, MA: The MIT Press.

Chen, M. (2023). China universities waste millions. SCMP, 09/08/2023. https://sc.mp/qqi5?utm_source=copy-link&utm_campaign=3230413&utm_medium=share_widget

Chu, J. (2018). MIT mathematicians solve age-old spaghetti mystery. MIT News, 13/08/2018. https://news.mit.edu/2018/mit-mathematicians-solve-age-old-spaghetti-mystery-0813

Ciaccio, E.J. (2023). Use of artificial intelligence in scientific paper writing. Informatics in Medicine Unlocked, 41, 101253.

COPE & STM (2022). Paper Mills. Research report. Committee on Publication Ethics https://doi.org/10.24318/jtbG8IHL

Cronin, B. (2001), Hyperauthorship: A postmodern perversion or evidence of a structural shift in scholarly communication practices?. JASIST, 52(7), 558-569.

CUN (2023). Parere del CUN sullo schema di decreto per il riparto del FFO delle università per l’anno 2023. Sessione 334, 22/06/2023. https://www.cun.it/provvedimenti/pareri/

Curcic, D. (2023). Number of Academic Papers Published Per Year. Wordsrated, 01/06/2023. https://wordsrated.com/number-of-academic-papers-published-per-year/

De Giorgi, L. (2007). Il sistema universitario cinese fra eredità storica e riforme. Cosmopolis, II, 175-190.

Dinouart, J.A.T. (1989). L’arte di tacere. Traduzione di C. Bietoletti. Palermo: Sellerio.

Downing, K. (2012). Do rankings drive global aspirations at the expense of regional development?. In M. Stiasny & T. Gore (a cura di), Going Global: The Landscape for Policy Makers and Practitioners in Tertiary Education (31–39). Bingley, UK: Emerald Group.

EIC (2018). Global Economic Significance of Business Events. New York: Events Industry Council.

Evans, J.A. (2008). Electronic Publication and the Narrowing of Science and Scholarship. Science, 321, 395-399.

Evans, J.A. & Reimer, J. (2009). Open access and global participation in science. Science, 80(323), 1025. 

Facchini, A. (2022). L’autopubblicazione sta cambiando il mondo dei libri. Internazionale 11/11/2022. https://www.internazionale.it/essenziale/notizie/alice-facchini/2022/11/11/autopubblicazione-editoria-cambiamento

Fernández-Suárez, I. et al. (2021). Study of the Prevalence of Burnout in University Professors in the Period 2005–2020. Education Research International, 2021, 1-10.

Gingras, Y. et al. (2020). Albert Einstein the mediocre: Why the h-index is a bogus measure of academic impact. Phys.org, 09/07/2020. https://phys.org/news/2020-07-albert-einstein-mediocre-h-index-bogus.html

Giudici, P. & Boscolo, L. (2023). Which fields drive the h-index?. TI Scientists, 01/10/2023. https://en.wiki.topitalianscientists.org/Which_fields_drive_the_h-index

Gonzalo Muga, J. (2023). Artificial Intelligence language models in scientific writing. EPL, 143, 20000.

Guttenplan, D.D. (2012). Ratings at a Price for Smaller Universities. New York Times, 30/12/2012. https://www.nytimes.com/2012/12/31/world/europe/31iht-educlede31.html 

Hanson, M. et al. (2023). The strain on scientific publishing. arXiv, 10.48550/arXiv.2309.15884.

Hirsch, J.E. (2005). An index to quantify an individual's scientific research output. PNAS, 102(46), 16569-16572.

Ioannidis, J.P.A. et al. (2019). A standardized citation metrics author database annotated for scientific field. PLoS Biol, 17(8), e3000384.

Ioannidis, J.P.A. (2023). October 2023 data-update for "Updated science-wide author databases of standardized citation indicators”. Elsevier Data Repository, V6, doi: 10.17632/btchxktzyw.6.

Ioannidis, J.P.A. et al. (2023). Thousands of scientists publish a paper every five days. Nature, 12/07/2018. https://www.nature.com/articles/d41586-018-06185-8

Jacob, B.A. & Lefgren, L. (2011). The Impact of Research Grant Funding on Scientific Productivity. J Public Econ, 95(9-10), 1168-1177.

King, D.W. et al. (2006). Measuring Total Reading of Journal Articles. D-lib Magazine, 12(10), 1045. 

Kluger, J. (2015). The 10 Most Ridiculous Scientific Studies. Time, 09/09/2015. https://time.com/4026473/ridiculous-science-studies/

Koltun, V. & Hafner, D. (2021). The h-index is no longer an effective correlate of scientific reputation. PLOS ONE, 16(6), e0253397.

Knobel, G. (2023). Universiteit Utrecht doet niet meer mee met THE-ranking. DUB, 09/29/2023. https://dub.uu.nl/en/news/utrecht-university-not-participating-ranking-anymore

Krenn, M. et al. (2022). On scientific understanding with artificial intelligence. Nat Rev Phys, 4, 761-769.

Kuhn, T.S. (1970). The Structure of Scientific Revolutions. Second Edition, Enlarged. Chicago: The University of Chicago.

Larivière, V. et al. (2009). The decline in the concentration of citations, 1900–2007. J Am Soc Inf Sci, 60, 858-862.

Larsen, P.O. & Von Ins, M. (2010). The rate of growth in scientific publication and the decline in coverage provided by Science Citation Index. Scientometrics, 84(3), 575-603.

Le Nevé, S. (2020). Paris-Saclay, première université française à percer dans le classement de Shanghaï. Le Monde, 15/08/2020.

Mariani, V. & Torrini, R. (2022). Il sistema universitario: Un confronto tra Centro-Nord e Mezzogiorno. Questioni di Economia e Finanza (Occasional Paper), 675, 3-40.

Marope, P.T.M. et al. (a cura di) (2013). Rankings and Accountability in Higher Education. Uses and Misuses. Paris: UNESCO Publishing.

Meho, L.I. (2007). The rise and rise of citation analysis. Physics World, 20(1), 32.

Monaco, P. (2022). A l’université Paris-Saclay, «nous ne sommes pas devenus meilleurs». Le Monde, 15/08/2022. 

Narayanaswamy, C.S. (2023). Can We Write a Research Paper Using Artificial Intelligence?. Perspectives, 81(5), 524-526,

Parrilla, J.M. (2023). ChatGPT use shows that the grant-application system is broken. Nature, 623, 443.

Piwowar, H. et al. (2018). The state of OA: A large-scale analysis of the prevalence and impact of Open Access articles. PeerJ, 6, e4375.

QS (2018). Do University Rankings Justify Higher Student Fees?. QS, 05/10/2018 https://www.qs.com/do-university-rankings-justify-higher-student-fees/

Rawat, S. & Meena, S. (2014). Publish or perish: Where are we heading?. J Res Med Sci, Feb, 19(2), 87-9.

Recognition & Rewards (2023). Dutch universities to take different approach to rankings. recognitionrewards, 04/07/2023. https://recognitionrewards.nl/2023/07/04/dutch-universities-to-take-different-approach-to-rankings/

Sarabipour, S. et al. (2021). Changing scientific meetings for the better. Nature Human Behaviour, 5, 296–300. 

Shaw, P. et al. (2022). The Death of the Monograph?. Pub Res Q, 38, 382-395.

Shaw, P. et al. (2023). The Future of the Monograph in the Arts, Humanities and Social Sciences: Publisher Perspectives on a Transitioning Format. Pub Res Q, 39, 69-84.

Signorelli, A.D. (2023). I 4 clan che comandano sull'intelligenza artificiale. Wired, 26/11/2026. https://www.wired.it/article/intelligenza-artificiale-fazioni-utopisti-apocalittici-sicurezza-etica/ 

STM (2021). STM Global Brief 2021. Economics & Market Size. Geneva: STM. 

Tenopir, C. & King, D.W. (2002). Reading behaviour and electronic journals. Learned Publishing, 15, 259–265.

Tenopir, C. et al. (2015). Scholarly article seeking, reading, and use: A continuing evolution from print to electronic in the sciences and social sciences. Learned Publishing, 28(2), 93-105.

TR Staff (2005). The Death of Libraries?. MIT Technology Review, 01/05/2005. https://www.technologyreview.com/2005/05/01/231135/the-death-of-libraries/

Van Meeteren, M. et al. (2022). Rethinking the digital transformation in knowledge-intensive services: A technology space analysis. Technological Forecasting and Social Change, 179, 121631.

Van Noorden, R. & Perkel, J.M. (2023). AI and science: what 1,600 researchers think. Nature, 621, 672-675.

Van Onselen, L. (2023). University rankings are a ponzi scheme. Macrobusiness 28/09/2023. https://www.macrobusiness.com.au/2023/09/university-rankings-are-a-ponzi-scheme/

Vidal, J. & Provost, C. (2011). US universities in Africa 'land grab'. The Guardian, 08/06/2011. https://www.theguardian.com/world/2011/jun/08/us-universities-africa-land-grab

West, J.D. & Bergstrom, C.T. (2021). Misinformation in and about science. Proc Natl Acad Sci USA, 118(15) e1912444117.

Yogesh K.D. et al. (2023). Opinion Paper: “So what if ChatGPT wrote it?” Multidisciplinary perspectives on opportunities, challenges and implications of generative conversational AI for research, practice and policy. International Journal of Information Management, 71, 102642.

Yuan, P.F. (2023). Toward a generative AI-augmented design era. ARIN, 2, 16.

decreased libido cartoon food that increase erectile strength low libido and psychological stress can a change in diet cause erectile dysfunction 25k strength male enhancement pills what stds cause erectile dysfunction size genix pills sex with erectile dysfunction catholic effectiveness of penis pumps magnum size male enhancement libido enhancement masturbating in secret does viibryd boost libido citicoline libido toys for erectile dysfunction lgbt sexual health questions sexual minority mental health specialist man with boner male pro t enhancement rvxadryl ranitidine false positive rush male enhancement instructions erectile dysfunction logos male enhancement sample low testosterone impotence stop grow for men car from sex drive sex drive amish holiday simple trick ends erectile dysfunction low testosterone treatment pills do enhancement pills work instead of testosterone shot are there pills boosts definition chaste tree berry libido african jungle male enhancement private sexual health clinic cardiff review zebra male enhancement sexual stamina pills at gnc amazon caffeine pills best male penis enlargement pills 2019 cvs pharmacy penis enlargement trimix injection results dizzy in spanish erectile dysfunction urologists silicone penis enlargement before and after erectile dysfunction and trumpcare google alpha testosterone booster im not gay i just have erectile dysfunction vitamins to increase semen worldwide rate of sexual violence word health organization adult novelties sex pills viagra que contiene extenze safety viagra commercial camaro youtube best multivitamin for male bodybuilders test 400 side effects how to make a bigger dick where to buy testo fuel alprazolams effect on sex drive testosterone booster groin pain first time sex how to best weight loss medication prescription all diet pills fast fat burning medicine weight loss pills tria spa amazing diet pills that work diet pills causing hair loss ace diet pills samples does keto diet make you have more energy reddit detoxing diet pills biotrust 4 foods to never eat safest diet pills 2016 keto diet foods yogurt diet control pills at dollar tree strongest supplements weight loss programs for women near me good eating diets to lose weight what is a good metabolism booster pill is v8 allowed on keto diet recommended appetite suppressant what is a substitute for cornstarch in a keto diet how to lose weight in 1 month fast cowboy beans keto diet how to lose weight working at a fast food restaurant keto diet affects on arthritis best meals for weight loss do niacin pills help you lose weight how to lose back weight capsula diet pills hot to lose weight best vitamins for keto diet how to become thin in 2 days on the keto diet can you eat most vegetables body fat reduction plan weight loss and muscle pills that boost libido and muscle growth fast keto diet duration lose 15 pounds in 2 months p3 nacks on keto diet diet pills kentucky what kind of supplements should i take on keto diet nature best garcinia cambogia aspartame for keto diet bodybuilder that eats keto diet heart patients thriving on keto diet dairy free keto diet plan why isn t the keto diet working for me how many carbs in a day on a keto diet keto diet carbs workout weight loss medication recall death is the keto diet healthy sausage eggs bacon podcast on keto diet can i eat dark chocolate on the keto diet what can i eat sweet on keto diet keto nutritionist near me acetyl l carnitine and alpha lipoic acid, keto diet atkins weight loss blog weight loss systems for women good fat sources for keto best foods to eat to lose belly fat weight loss pills working