Progetto#1
Progetto #1: Sviluppo e Valutazione di Prompt per la Generazione di Testo
Obiettivo del Progetto
Dimostrare la comprensione e l'applicazione pratica di principi e pratiche standard di prompt engineering, creando e ottimizzando uno o più prompt che generino output coerenti, pertinenti e qualitativamente elevati utilizzando almeno due modelli di linguaggio differenti (es. ChatGPT e Gemini). Gli studenti dovranno anche analizzare le risposte generate per confrontarne la qualità.
Struttura del Progetto
1. Introduzione e Obiettivi
Scrivi un breve documento in cui spieghi:
- Gli obiettivi del progetto.
- L'importanza della prompt engineering per ottenere risposte di qualità.
- Una panoramica delle differenze attese tra i modelli scelti (es. ChatGPT e Gemini).
2. Sviluppo dei Prompt
Crea almeno due prompt distinti per un compito specifico (obiettivo del progetto). I compiti possono riguardare, a scelta dello studente, aree come:
- Scrittura creativa: generazione di un racconto breve con vincoli specifici.
- Risposta a domande tecniche: spiegazione di un concetto complesso in termini semplici.
- Creazione di un piano strutturato: come progettare una campagna di marketing o un piano di studio.
- Conversazioni simulate: come rispondere in modo empatico o convincente in una situazione ipotetica.
Quindi, ad esempio, si può creare un prompt di scrittura creativa e l'altro di risposta di domande tecniche.
Per ogni prompt:
- Descrivi il compito che il prompt intende svolgere.
- Spiega come il prompt incorpora i principi fondamentali della prompt engineering:
- Chiarezza e contesto.
- Struttura e richieste specifiche.
- Test iterativo per ottimizzare l’output.
- Spiega le pratiche standard adottate nel prompt.
- Scrivi il testo esatto del prompt.
3. Generazione degli Output
- Esegui i prompt sviluppati con i modelli scelti (es. ChatGPT e Gemini). Esegui lo stesso prompt su tutti i modelli scelti, così da poter confrontare il risultato.
- Fornisci screenshot o trascrizioni delle risposte generate dai modelli.
4. Analisi Comparativa
Confronta i risultati ottenuti dai due modelli. Per ciascun output:
- Valuta la qualità in base a criteri quali:
- Pertinenza rispetto alla richiesta.
- Accuratezza delle informazioni.
- Completezza delle risposte.
- Chiarezza e stile della risposta.
- Spiega le differenze osservate tra i modelli e come potrebbero dipendere:
- Dalla formulazione del prompt.
- Dalle caratteristiche intrinseche dei modelli.
5. Iterazione e Ottimizzazione
- Migliora uno dei prompt sulla base delle osservazioni raccolte (seleziona e applica in modo opportuno le pratiche standard).
- Rigenera gli output con i modelli.
- Documenta i miglioramenti ottenuti, spiegando le modifiche apportate.
6. Conclusioni
Scrivi un breve rapporto finale che includa:
- Una sintesi delle lezioni apprese sull'importanza della prompt engineering.
- I punti di forza e debolezza osservati nei modelli utilizzati.
- Riflessi personali sull'esperienza e sulle competenze sviluppate.
Valutazione
Il progetto sarà valutato in base a:
- Completezza (20%): Ogni sezione è presente e ben sviluppata.
- Qualità dei prompt (30%): I prompt sono chiari, specifici e ben strutturati.
- Analisi critica (20%): Le osservazioni sui risultati sono dettagliate e ben argomentate.
- Ottimizzazione (20%): L'evoluzione dei prompt dimostra comprensione e capacità di miglioramento.
- Presentazione (10%): Ordine, coerenza e qualità visiva della documentazione.
Output Finale
Gli studenti consegneranno:
- Un documento scritto (PDF) contenente:
- Tutte le sezioni sopra descritte.
- Risposte generate dai modelli.
- File di testo o codice con i prompt utilizzati.
Nota
Durante l’esame, il docente potrà verificare:
- L’aderenza ai principi e pratiche della prompt engineering.
- La capacità dello studente di analizzare criticamente i risultati.
- La capacità di migliorare i prompt e adattarli ai contesti.