www.bertinettobartolomeodavide.it
|
|
In questi giorni ho completato un progetto che avevo in mente da qualche mese, ovvero realizzare un "super-computer" in grado di far girare un'intelligenza artificiale (AI) in locale e quindi senza una connessione ad internet. Questo passaggio offline è indispensabile per me, dato che le comuni AI sono semplicemente un canale internet collegato a un cloud di server in qualche zona remota del mondo e pertanto ogni interrogazione esce da ogni privacy.
Ritengo le AI un utilissimo supporto alla creatività che però spesso elimina la componente individuale, rendendo in qualche forma condivisa a tutti una propria idea... Questo avviene perché le AI online sono in continuo addestramento e le informazioni che introduciamo restano perpetuamente negli algoritmi dell'AI utilizzata, che fa ricorso a server remoti!
Avere invece un computer che svolge questo compito in forma indipendente permette all'autore di creare in modo separato dal "pensiero altrui", che per forza è condiviso attraverso infinite domande che pervengono alle AI web utilizzata, che quindi rimodula le nostre informazioni verso nuove domande poste da altri utenti! Capite che questo elimina l'originalità di ogni nuova idea!
Assemblare un computer così potente da riuscire a gestire una AI in modo indipendente senza spendere un patrimonio non è una cosa semplice. Tuttavia, con un po' d'iniziativa, è possibile ripiegare verso soluzioni informatiche di una decina di anni fa basate su processori Intel Xeon. Infatti sono riuscito a rimediare una scheda madre dual-CPU con processori Xeon a 8 core ciascuno! Ciò regala un quantitativo di 16 core complessivi. Con la bellezza di 64GB di RAM, alla modica cifra di 128 euro.
Un computer che nonostante gli anni è ancora superiore alla maggior parte delle piattaforme informatiche di oggi (2025). Ho avuto la necessità di reperire un case per contenere la scheda madre di Dell e dato che molta della tecnologia di questa casa è proprietaria, sono stato costretto a reperire tutti i componenti originali del computer Dell T5600, assemblandone uno completo con pezzi di recupero. La difficoltà più grossa è stata quella di rimediare un cooler di raffreddamento a liquido per la seconda CPU, dato che il primo era già incluso nel case che tra l'altro ho rimediato per 38,5 euro!
Fatto ciò, il passaggio successivo per avere una potenza adeguata alla produzione di risposte con AI locale è stata necessaria una scheda CUDA core di Nvidia e la soluzione più economica è stata senz'altro la RTX 2060(data 2018) ma non una qualunque, bensì la versione da 12GB. 12GB di VRAM sono indispensabili dato che per far funzionare un modello AI da 8GB serve l'equivalente in VRAM per permettere alla GPU con CUDA core di gestire l'AI e ottenere risposte estremamente veloci. Infatti, questo sistema con Llama 3.1-8B Instruct 128k, che riesce a restituire 30 token nelle risposte! Ciò colloca un PC di questo tipo perfino superiore alle AI online! La scheda video qui descritta per completare questo sistema, è stato il componente più costoso con i suoi 170 euro. Specifico che l'alimentazione della GPU ha richiesto un alimentatore aggiuntivo(Costo 65 euro per 650watt)...
Il software utilizzato per la gestione dei modelli AI è GPT4ALL, che lavora molto bene sia con GPU che con la sola CPU.
Non mi sono limitato all'AI testuale, dato che ho una forte passione per il disegno a matita. Quindi, sono sempre alla ricerca di fotografie da ricopiare con lapis e il software Python Fooocus mi è parsa la scelta ideale nella modalità REALISTIC sempre in disconnessione dalla rete.
Fooocus attraverso delle direttive testuali in lingua inglese riesce a produrre qualsiasi immagine inventata per simulare le situazioni più disparate. Inoltre, utilizzo questo strumento per creare bozze per futuri lavori a matita da ricopiare che prendono spunto dalla mia fantasia. È l'ideale.
Infine la parte dedicata al disco fisso è caduta, per ragioni di indiscutibile velocità, verso una soluzione SSD piuttosto che l'ormai vetuso HDD meccanico... Ne avevo uno da 240GB inutilizzato da anni e così questa idea è stata una soluzione senza costi aggiuntivi. E' vero che 240GB per un disco fisso non sono molti nel 2025, però visto l'uso circoscritto a documenti testuali e immagini bitmap elaborati dall'AI, ritengo questo spazio più che sufficiente.
Il presente computer, essendo scollegato dal web, permette lo scambio di dati con l'esterno unicamente via chiavetta USB o DVD...
La macchina qui discussa forse potrebbe funzionare con Windows 11 ma onestamente, visto che per i miei scopi non è richiesto, ho ritenuto opportuno restare su Windows 10 dato che sono certo sia più veloce dell'undici!
VIDEO LIVE YOUTUBE DI UNA PROVA EFFETTIVA CON GPT4ALL E FOOOCUS: https://www.youtube.com/watch?v=q0ubdjbenrs