E se... le uniche pubblicazione valide per ogni tipo di valutazione comparativa fossero quelle apparse su riviste peer-reviewed internazionali?
- Apparentemente ti serve una monografia. Durante la settimana tra Natale e Capodanno ero in vacanza con un amico (e la sua famiglia, e la mia), il quale, durante una delle conversazioni serali al chiaro di luna, mi ha illuminato su una consuetudine tipica delle facoltà umanistiche (ma non solo) che non conoscevo. In sostanza, se un giovane assegnista di ricerca in una di queste discipline - per dirne una (quasi) a caso: giurisprudenza - vuole sperare di accedere a un posto da ricercatore, è bene, anzi, è praticamente obbligatorio, che nella sua lista delle pubblicazioni abbia (anche, solo) una monografia.
- Cos'è una monografia? Apparentemente è una specie di libro, che contiene, collezione e illustra i risultati della ricerca dell'aspirante ricercatore in questione. Fin qui tutto bene. Le note dolenti arrivano dopo: queste monografie verrebbero solitamente pubblicate a pagamento da case editrici italiane specializzate in questo tipo di pubblicazioni. Auch! Perché la cosa mi fa saltare sulla sedia? Fondamentalmente per due motivi.
- Non c'è niente di male a pagare per pubblicare qualcosa. In qualunque modello di pubblicazione scientifica circola del denaro: in quello tradizionale sono le biblioteche che si abbonano alle riviste a pagare; in quello Open Access sono gli autori che contribuiscono ai costi di pubblicazione, per consentire invece una fruizione gratuita da parte del pubblico. In entrambi i casi la circolazione di denaro non è la clausola che dà accesso alla pubblicazione: lo scrutinio, la revisione e l'eventuale accettazione di un lavoro avviene da parte di un organismo indipendente dal giornale che pubblica: i referee sono esperti della materia di cui il giornale tratta, che - a titolo gratuito! - rivedono, scremano e scelgono i lavori degni di essere pubblicati, in un meccanismo stranoto e condiviso che va sotto il nome di peer-review.
- Se io invece pago una casa editrice specializzata perché pubblichi senza peer-review la mia monografia, in fondo è solo la transazione di denaro che determina se il mio lavoro sarà pubblicato o meno. Certo, ci sarà anche un minimo di cura editoriale, non ne dubito. Ma come potrebbe l'aver pubblicato o meno il proprio lavoro con questo meccanismo essere un criterio di valutazione del merito scientifico, se non è il merito stesso e la qualità del lavoro - valutati da una commissione di pari - a determinare la possibilità e l'opportunità della pubblicazione?
- Dunque, come e quando l'aspirante ricercatore decide che la sua monografia è pronta per essere pubblicata? Di solito quando il suo referente, il professore che lo tiene sotto la sua ala, il suo tutore, gli darà il suo assenso. L'assenso del proprio tutore finisce per essere l'unica verifica di qualità per una pubblicazione di questo tipo. Questa è il secondo punto problematico: anche volendo concedere alla valutazione del proprio tutore una garanzia di qualità (vogliamo?), questo tipo di valutazione rimane sempre e comunque interna al proprio ristrettissimo circolo di colleghi. E la qualità internazionale? E la rilevanza al di fuori del proprio dipartimento?
- Le obiezione tipica a queste critiche è: "nelle materie umanistiche il modello delle riviste internazionali peer-reviewed che si usa in quelle scientifiche non può funzionare". E perché mai? Perché gli argomenti di ricerca non sono rilevanti in un contesto internazionale? Onestamente, non posso e voglio crederci. Sono sicuro che esistono stimate riviste internazionali di giurisprudenza o di italianistica o di storia moderna che sarebbero ben liete di pubblicare un lavoro sullo Statuto Albertino, una nuova analisi critica della poetica di Carducci, o una disquisizione sul ruolo di Lelio Basso nella nascita dei tribunali internazionali. Sempre che questi lavori siano seri, rilevanti, originali, competitivi. O forse è proprio questo genere di qualità che spaventa?
Leggi le altre puntate:
E' un trucco del tutore per rafforzare la mediocrazia. Le humanities hanno riviste internazionali peer-reviewed, eccome. Ci sono anche per temi precisi tipo Edinburgh Journal of Gadda Studies, guarda caso dell'università di Edimburgo e non di ... (inserire ateneo italiano a scelta).
In compenso sono ancora poche quelle Open access. In altri paesi è facile che sul web dell'università ci siano i preprints, se non i paper stessi. Qui no, code di paglia?
OT: "E se... 4." non appare negli articoli collegati perché è in stato di sovrapposizione con "Riformare"?
Curious minds want to know.
Funny! Gli "articoli (forse) collegati" sono selezionati automaticamente da un algoritmo (i cui dettagli mi rifiuto di indagare), ma l'effetto è comunque illuminante: che riformare il dottorato implichi smettere di lavorare gratis? 🙂
Se lo dice l'algoritmo dev'essere vero, non ha conflitto d'interessi.
dunque.....la questione della monografia fa parte di un circolo vizioso tutto nazionale che potrebbe essere riassunto così.
1 - Le sedi locali cercano di mantenere il controllo della propria capacità di auto-reclutamento e riproduzione.
2 - Il ministero ogni tanto ha delle ventate di riformismo, altre volte è ostaggio-complice delle logiche locali, e quindi da un lato impone dei criteri vincolanti per i reclutamenti e dall'altro lo fa in maniera assai discutibile.
3 - La monografia, e il suo possesso, emergono dunque come criterio quasi-vincolante, creando il circolo vizioso con case editrici, fast-writing senza senso, inesistenza completa di pubblici per quei prodotti, etc (senza nemmeno citare le conseguenze ambientali: l'altro giorno abbiamo fatto pulizia nell'ufficio del mio capo e abbiamo creato una pila di fuffa concorsuale alta un metro e mezzo...).
Detto questo:
- si può vincere il concorso senza la monografia (è il mio caso)
- non è sempre vero che le monografie sono pagate (ma questo non cambia nulla dal punto di vista del controllo-qualità, per così dire).
- le differenze tra tradizioni disciplinari e modalità di produzione del sapere non posso venire ridotte a "mettete un sistema peer-review e tutto andrà a posto" (questo richiede una discussione ENORME che sono disposto ad iniziare se ti va).
Besos
Ciao Giovanni,
aspettavo con impazienza il tuo commento! 😛
Ovviamente le provocazioni come questa tagliano deliberatamente le questioni con l'accetta, ma sono lieto (no, lieto non è certo la parola giusta) di sentire confermato che il fenomeno delle monografie, le sue ragioni e le sue storture esistono (per dire, ieri sera chiacchieravo con Marco-il-critico-cinematografico, il quale invece sembrava decisamente più accomodante sul fenomeno, almeno per il suo settore).
Sui tuoi ultimi punti:
- Ovviamente si può, ma sai meglio di me che il tuo caso non solo non è rappresentativo, ma probabilmente persino isolato rispetto alla media.
- Come mi sembra di avere scritto abbastanza chiaramente, il "pagare per pubblicare" non è di per se un problema; quello che sono problematiche sono l'assenza di valutazione ("blind" e comparativa) della qualità scientifica, e l'altrettanta assenza di pubblico che citi anche tu.
- Il peer-review da solo ovviamente non è la panacea, e certamente non è perfetto, nemmeno per le discipline che lo usano sistematicamente da sempre. Detto questo, chi usa la proposizione precedente come scusa per non adottarlo è sempre piuttosto ipocrita. A margine, mi preme il peer-review almeno quanto mi preme la dimensione internazionale della pubblicazione.
Vada per la discussione ENORME 🙂 , da qualche parte bisogna pur iniziare! Ehi, se pensi di scrivere più di dieci righe in risposta, magari ti propongo un guest-post. Che ne dici?
Guest-postami pure. Ci sono.
Inizierei con un aneddoto, che poi è una modalità che uso spesso per argomentazioni anche scientifiche.
Faccio parte del board e della redazione di quella che può essere considerata la principale rivista nazionale del settore di cui mi occupo, la sociologia. Principale perchè ha 50 anni di storia, festeggiati l'anno scorso, perchè ha sempre avuto un profilo qualitativo medio-alto per gli standard nazionali e perchè da 4 anni si è spesa con grande impegno e serietà per dotarsi di tutte le specifiche che la Thomson richiede per poter concedere l'accreditamento al sistema internazionale. Per chi non conoscesse questo mondo, basti sapere che la Thomson-Reuters (http://thomsonreuters.com/products_services/science/) è una società privata che detiene, de facto, il monopolio della certificazione internazionale attribuendo fattori d'impatto e ranking alle riviste scientifiche. Questo significa che la casa editrice che ci pubblica chiede alla Thomson che la rivista o, più comunemente, un pacchetto di riviste, vengano valutate per essere ammesse alla scena internazionale con l'attribuzione da parte di Thomson di un posto nella gerarchia dei journals scientifici. Ciò implica che è a pagamento e che si può non essere ammessi. I criteri sono diversi e non vi annoio, ma essenzialmente bisogna dimostrare di fare peer reviewing continuativo e documentato, di avere abstracts e parole-chiave in inglese, un board e altre amenità.
Come avrete già capito, abbiamo fatto tutto il necessario per entrarvi e a 4 anni di distanza dalla richiesta lo hanno negato con una giustifica di 4 righe (sic) in cui dicono che non siamo abbastanza rilevanti internazionalmente per poter essere giudicati ammissibili.
Due ulteriori elementi:
1 - delle 24 riviste che facevano parte del pacchetto sotto esame ne è entrata una sola, in mano a un noto e potente economista nazionale e celebre per le sue capacità di lobbysta (e lo dico senza falsi pudori, bisogna saperlo fare ed è utile), pubblicata in italiano.
2 - Una sola rivista italiana di sociologia fa parte del mondo Thomson ed è così perchè si accreditò 30 anni fa e quindi è rimasta all'interno del meccanismo per una sorta di diritto consuetudinario. Rivista onestamente pessima e non rappresentativa di nulla, ma dotata di fattore d'impatto benchè praticamente nullo.
E qui veniamo alla GROSSA stortura nazionale. Passi, infatti, nonostante il mio dispiacere e le conseguenze significative che avrà per noi sociologi italiani, il fatto che non siamo entrati in Thomson. MA, avendo il ministero, con le folate riformatrici cui accennavo nell'intervento precedente, deciso che noi italiani dobbiamo essere valutati ANCHE secondo i criteri scientifici internazionali (giusto), ha di fatto garantito copertura politico-istituzionale alla Thomson (discutibile) e ha imposto che il possesso di per sé del fattore d'impatto (anche se è negativo, per intenderci) sia comunque da preferire al non averlo affatto (follia pura). Conseguenza? Appena la nostra non ammissione al reame Thomson sarà cosa di dominio pubblico, ogni studioso/a minimamente intelligente preferirà pubblicare sulla rivista accreditata male che presso di noi perchè ciò gli/le consentirà una valutazione sulle pubblicazioni molto superiore.
Sono più di 10 righe e spero di non avere ammorbato troppo il dibattito....
Giò
Grazie del simpatico ed edificante nanetto (lo lascio qui, sono pigro per farlo diventare un post vero e proprio)!
A margine, sarebbe interessante tornare su un tema già discusso: normare la verifica della qualità con i soli numeri (IF, h-index, ...) - in un tentativo di impossibile oggettività - porta per forza a storture di questo tipo: in ogni sistema (per la sua caratteristica di sistema) c'è sempre la crepa dove infilarsi, basta solo scoprire la combinazione di tasti che porta al god-mode 🙂
tema peraltro caldo un po' ovunque:
http://thechoice.blogs.nytimes.com/2010/02/05/gee/?hp
Mi pare che il tuo criterio sia solo nel valutare se un lavoro viene pubblicato o meno, senza entrare nel merito del lavoro stesso.
Se pubblicare una monografia in se' puo' non essere indice di merito (a parte il merito di aver trovato un editore disposto a farlo), un'eventuale valutazione dovra' tenere conto anche dei contenuti della monografia, e che diamine!
Tra l'altro le monografie, tipicamente, hanno un solo autore. Il primo particolo peer-reviewed di CMS ne ha 2500.
Insomma, per scrivere una monografia devi sbatterti un po', aldila' della qualità del risultato (che e' comunque valutabile). Mentre il solo appartenere a una grande collaborazione di fisica delle particelle, anche senza darsi troppo da fare, può procurarti centinaia di pubblicazioni peer-reviewed in pochi anni.
No, Xisy, io dico esattamente il contrario: il semplice "pubblicare" non è affatto garanzia di qualità, anzi! Il fatto che al giorno d'oggi sia ormai relativamente semplice accedere a una qualche forma di pubblicazione (per esempio auto-finanziata, o persino solo online) deve mettere i guardia: chiunque può "farsi un libro", ma questo non può essere garanzia della qualità del suo contenuto. La pubblicazione su una rivista peer-review garantisce almeno che il lavoro sia stato valutato in modo "cieco" (non sai da chi) insieme a quello dei tuoi concorrenti. Non è un sistema perfetto, ma è meglio del nulla autoreferenziale.
Quando poi dici "un’eventuale valutazione dovrà tenere conto anche dei contenuti della monografia" mi sembra proprio che salti un passaggio: in una valutazione comparativa che valuta deve certo soppesare i contenuti delle pubblicazioni (e il loro numero, e la quantità di firme), ma sul numero deve potersi affidare a una selezione a-priori. Se io mi presento a un concorso con 50 PDF autogenerati e mai pubblicati se non sul mio blog, il relatore ha il diritto di mandarmi a stendere e dire che non ha intenzione di studiarseli tutti, perché giustamente si aspetta che - prima che io osi chiamarli pubblicazioni - li abbia già sottoposti a qualcuno.
Sulla quantità di firme potremmo discutere delle ore, per adesso tralascio perché ci porterebbe lontanissimo. Mi limito ad aggiungere: se il lavoro della monografia è valido, perché non sottoporlo nella forma opportuna alle riviste specializzate? Come scrive poco sopra chi conosce bene il fenomeno, si tratta purtroppo solo di un "circolo vizioso tutto nazionale". Amen.
@Marco:
"il semplice “pubblicare” non è affatto garanzia di qualità".
Certo, d'accordissimo: pubblicare non implica qualita'.
Ma qualita' implica pubblicare.
Per cui, se c'e' della qualita' in un lavoro pubblicato (in qualsiasi rivista, "referata" o no), basta presentarlo tra le pubblicazioni selezionate e lasciare che venga valutato nel merito.
Qual e' il problema? Nessuno!
Lo stesso vale per il mondo scientifico, in cui spesso e volentieri contano solo le pubblicazioni in riviste peer-reviewed.
Se il tuo nome e' in compagnia di altri 2499, non e' molto indicativo. Puoi anche avere centinaia di pubblicazioni: significa solo che stai lavorando nel gruppo giusto e al momento giusto. E poco piu'.
Anche qui, dovresti selezionare i lavori su cui c'e' del tuo, e specificare come e dove hai contribuito.
Qual e' il problema? Ancora: nessuno!
Il problema non e' il peer-reviewing o meno. Il problema e' che una valutazione automatizzata (pubblicazioni, citazioni, h-index..) non ha senso.
Il sistema peer-reviewing non e' inventato per valutare i ricercatori ai concorsi, ha un altro scopo e non ha senso richiederlo anche in ambiti il cui fine specifico di ricerca non presuppone l'accertamento di verita' scientifiche.
Direi che sarebbe addirittura pericoloso, tra l'altro, in ambiti storiografici o etici.
Funziona bene nella scienza, che e' un sapere cumulativo.
Sul serio, lasceresti a un ristretto manipolo di intellettuali pieni poteri di forza nel decidere quali verita' storiche o meno avrebbero diritto di venire accertare circa le origini dello Statuto Albertino??
Io mai; piuttosto preferirei abolire il sistema peer-reviewing per tutti, e lasciare che ognuno quoti le sezioni d'urto p-p a seconda di come si sveglia la mattina; tutto sommato sarebbe meno dannoso.
Caro Xisy, se come dici "qualità’ implica pubblicare", allora perché ricorrere al self-publishing, e non sottomettere il proprio lavoro alla revisione dei pari? Mi sembra che il tuo argomento nasca zoppo in partenza, e soprattutto che tu stia mescolando i piani. Per chiarisci, abbiamo sotto mano tre problematiche distinte:
1) il self-publishing contro il peer-review internazionale.
2) La questione squisatamente legata alla discipline come la fisica delle alte energie delle pubblicazioni con tantissime firme.
3) La questione della valutazione della ricerca.
Mi trovo costretto a ricordarti che stiamo disquisendo del punto (1). Se ti va di parlare anche del resto va bene, ma non confondiamo.
E tornando a bomba. Quando sostieni che:
a mio modesto parere dici una boiata pazzesca, cadendo nella consueta scusa di troppi ricercatori delle humanities.
La ricerca negli ambiti umanistici ha delle regole dei protocolli che sono (dovrebbero essere) altrettanto seri che quelli della ricerca delle scienze "dure". Mi spiace, ma non si tratta di esprimere opinioni! E il peer-review è in primo luogo una verifica della solidità metodologica di un lavoro (hai fatto bene i compiti a casa? Studiato tutta la letteratura esistente sull'argomento? Citato e analizzato tutte le fonti?). Mi sembra tu abbia un'idea un po' romantica e al limite un po' naive di queste discipline. O forse è proprio l'idea che molti in queste discipline vogliono far passare?
P.S. Ci sono diversi modi di misurare una sezioni d’urto p-p, alcuni sono equivalenti, altri sono semplicemente sbagliati e ingenui.
Non sostengo che trattare temi etici equivalga a esprimere opinioni; ma cio' non toglie che l'impatto di una ricerca umanistica si possa estendere su terreni etici se non ideologici. Non ha senso lamentarsi che che il peer-reviewing non sia praticato in ambito umanistico, cioe' non ha senso richiedere che la prassi propria della ricerca scientifica venga adoperata in altri ambititi che hanno le loro regole e consuetudini. Il punto (2), delle migliaia di firme in lavori HEP, e' un controesempio che mostra come non e' vero che peer-reviewing sia sinonimo di qualita' del lavoro di ricerca di ogni singolo autore; e d'altra parte, un umanista per esempio potrebbe rivendicarlo, estendendo il proprio metro in altri ambiti - cioe' nella tua stessa maniera- "allora perché voi scientisti non firmate solo gli articoli che scrivete gli articoli da soli?".
Gia'; perche' nella fisica si' e nella bioetica no?
Guarda Xisy, su questa cosa mi sa che continueremo a dissentire ad libitum. Insisto, quando dici:
io non sono affatto d;accordo, penso che un;affermazione del genere sia nella migliore delle ipotesi naive e nella peggiore una scusa. Mi sembra che tu confonda il ruolo delle consuetudini con quello di regole scelte e costruite con una riflessione e un'intenzionalità. Amen.
Quanto alle firme, stai barando: è chiaro che le modalità di firma dei lavori devono essere diverse nelle varie discipline, perché diverse sono le modalità di lavoro e collaborazione. Qui io non sto contestando che un lavoro di HEP a mille firme valga di più di uno a firma singola di un italianista, ci mancherebbe! Io contesto che il lavoro autopubblicato dell'italianista ha un valore inferiore al lavoro pubblicato secondo peer-review dello stesso italianista. Ri-Amen.
Non sto barando. Infatti, sulle firme, ti sto solo riportando una possibile obiezione che ti farebbe un umanista; dato che tu stai cercando di esportare a discipline differenti una consuetudine propria della comunita' scientifica (chiamala regola se vuoi, ma la sostanza non cambia), anche un umanista potrebbe tranqullamente fare la stessa cosa. Sbagliando.
E non e' vero, nei fatti, che il lavoro autopubblicato dell’italianista ha un valore inferiore (o superiore; non capisco bene che intendi, dato che "contesti") al lavoro peer-reviewed dello stesso italianista.. infatti il lavoro e' *lo stesso* per ipotesi, e la comunita' letteraria non ha mai espressamente adottato ne' raccomandato l'uso del peer-reviewing come scelta di qualita'... selta del tutto arbitraria e del tutto legittima. Se credi che un sistema del genere liberi la produzione culturale dall'autorefenzialita', allora mi dispiace ma l'ingenuo non sono io.
Xisy, il tuo ragionamento è al limite della correttezza: non credo proprio che tu possa comparare a priori un lavoro autopubblicato con uno peer-reviewed, perché non puoi sapere se il lavoro autopubblicato sarebbe stato pubblicato su un giornale con revisione.
Se conosci un po' il sistema, dovresti sapere bene che nel peer-review un lavoro può non essere accettato del tutto, o - più frequentemente - possono essere richieste delle revisioni minori o maggiori. L'autopubblicazione salta a piè pari questo processo di interazione, valutazione ed eventuale revisione, che rimane a mio modo di vedere fondamentale. Tu decidi che il lavoro è buono così, e via. Nessuna competizione, nessuna apertura al mondo accademico al di fuori delle mura di casa, poca o nulla diffusione.
Resto sulle mie posizioni: non giudico la qualità dei lavori, ma l'approccio metodologico, che resta nello specifico delle monografie a pagamento immaturo e al limite presuntuoso.