Η συζήτηση του κ. Βενιζέλου με τον κ. Δασκαλάκη για την ανθρωπολογική πρόκληση της τεχνητής νοημοσύνης ήταν τρόπον τινά αξιομνημόνευτη. Την παραθέτουμε ολόκληρη:

Β. Βενιζέλος: Κυρίες και κύριοι, φίλες και φίλοι, σας ευχαριστώ θερμότατα που παρακολουθείτε το Συνέδριο του Κύκλου Ιδεών. Έχω την πολύ μεγάλη χαρά να υποδέχομαι στη συνάντηση αυτή μία πολύ γνωστή, διεθνώς γνωστή, προσωπικότητα, τον Καθηγητή Κωνσταντίνο Δασκαλάκη ο οποίος διδάσκει στο MIT. Μετέχει διαδικτυακά από τη Βοστόνη στη συνάντηση αυτή, τον ευχαριστώ θερμότατα. Νομίζω ότι δεν μπορούσαμε να έχουμε καταλληλότερο πρόσωπο προκειμένου να συζητήσουμε πτυχές του πολύ μεγάλου θέματος της τεχνητής νοημοσύνης και αυτά που συνεπάγονται. Ως εκ τούτου, τον καλωσορίζω και τον ευχαριστώ και του θέτω το πρώτο ερώτημα.

Αγαπητέ κ. Δασκαλάκη, είναι μία ευκαιρία να ξεκινήσουμε, προκειμένου να διευκολύνουμε και όλους τους φίλους και τις φίλες που μας παρακολουθούν, επιχειρώντας να δώσουμε ένα μικρό εύληπτο ορισμό για το τι είναι η τεχνητή νοημοσύνη, τι είναι η μηχανική μάθηση, πώς αυτό συνδέεται με την Τέταρτη+ Βιομηχανική Επανάσταση και όλα τα συναφή θέματα.

Κ. Δασκαλάκης: Καλησπέρα σας. Πρώτα από όλα, να πω και εγώ ότι είναι μεγάλη μου χαρά που συνομιλούμε και, επίσης, ευχαριστώ και το ακροατήριο που παρακολουθεί αυτή τη μη ζωντανή, αλλά διαδικτυακή συνάντησή μας.
Η τεχνητή νοημοσύνη είναι ένα ευρύτερο πεδίο που έχει μεγάλη ιστορία, αυτή η ιστορία αρχίζει ήδη από το 1950, και η μηχανική μάθηση είναι ένα υποσύνολο της τεχνητής νοημοσύνης. Η τεχνητή νοημοσύνη έχει μία πολύ ευρεία στόχευση, είναι το πώς να φτιάξουμε νοήμονες μηχανές –ό,τι μπορεί αυτό να σημαίνει. Για να το πετύχουμε αυτό, υπάρχουν πολλών ειδών τεχνικές τις οποίες θα μπορούσαμε να χρησιμοποιήσουμε. Οι τεχνικές αυτές έχουν να κάνουν και με software και με hardware, έχουν να κάνουν πάρα πολύ με αλγορίθμους.
Ένα κομμάτι αυτών των αλγορίθμων έχει να κάνει με την επεξεργασία δεδομένων που μία νοήμων μηχανή αντιλαμβάνεται, μαζεύει από το περιβάλλον στο οποίο βρίσκεται και θέλει να χρησιμοποιήσει αυτή την πληροφορία, αυτά τα δεδομένα, αυτές τις μετρήσεις, για να κάνει προβλέψεις για το τι μπορεί να συμβεί στο μέλλον ή οι πράξεις της μηχανής τι αποτέλεσμα θα έχουν για την εμπειρία της στο μέλλον.
Επομένως, για να συνοψίσω, η μηχανική μάθηση είναι ένα κομμάτι της τεχνητής νοημοσύνης και είναι αυτό το κομμάτι το οποίο έχει να κάνει με την επεξεργασία δεδομένων, με το σκοπό, πρώτα από όλα, να κάνουμε προβλέψεις για το τι μέλλει γενέσθαι, τι θα δούμε στο μέλλον, αλλά, επίσης –και ίσως πιο σημαντικό– για το πώς οι πράξεις οι δικές μας, οι πράξεις της μηχανής, θα επηρεάσουν τον κόσμο στον οποίο θα βρεθούμε μετά τη λήψη αυτών των αποφάσεων και πράξεων.

Β. Βενιζέλος: Πολύ ωραία. Ευχαριστώ πάρα πολύ, γιατί ήταν συνοπτική και σχετικά εύληπτη η απάντηση. Τώρα, θέλουμε να συμπιέσουμε τα πράγματα, σε λίγο χρόνο να πούμε πάρα πολλά –νομίζω, έχουμε την κατανόηση του ακροατηρίου μας.
Εάν καταλαβαίνω καλά, τώρα έχουμε μία υπερυπολογιστική, ας το πούμε έτσι, δυνατότητα και έτσι, από τη φάση της πληροφορικής και των υπολογιστών, πηγαίνουμε σε κάτι άλλο, το οποίο, επίσης εάν καταλαβαίνω καλά, δεν είναι αναγκαστικά ανθρωπόμορφο. Δηλαδή, όταν μιλάμε για μηχανές βασισμένες στην τεχνητή νοημοσύνη, την επεξεργασία των big data, για μηχανές που έχουν ικανότητα προσαρμογής “διανοητικής”, εντός εισαγωγικών, μέσω της μηχανικής μάθησης, δεν μιλάμε για μηχανές ανθρωπόμορφες, για ρομπότ, μιλάμε για κάθε τι το οποίο μπορεί να γίνει όχημα αυτής της εφαρμογής. Είναι σωστή η παρατήρησή μου αυτή;

Κ. Δασκαλάκης: Είναι πολύ σωστή. Ο ανθρώπινος εγκέφαλος, προφανώς, είναι μία έμπνευση, ο τρόπος που εμείς αντιλαμβανόμαστε και δίνουμε εξηγήσεις για τον κόσμο γύρω μας είναι μία έμπνευση για τους αλγορίθμους τους οποίους θέλουμε να εμφυσήσουμε σε τεχνητά όντα.
Από την άλλη, τα τεχνητά όντα έχουν κάποια χαρακτηριστικά διαφορετικά από αυτά του ανθρώπου. Οπότε, θέλουμε να εκμεταλλευτούμε αυτές τις διαφορετικές δυνατότητες που έχουν τα τεχνητά όντα, οι τωρινοί υπολογιστές που έχουμε. Επιπλέον, δεν γνωρίζουμε και καλά το πώς δουλεύει ο ανθρώπινος εγκέφαλος. Αυτό είναι ένα τεράστιο μυστήριο το οποίο δεν έχουμε ακόμα λύσει και, επομένως, ενόσω αυτό ακόμα δεν έχει λυθεί, πρέπει να βρούμε άλλους επιστημονικούς δρόμους να προσεγγίσουμε το πώς εμφυσούμε νοημοσύνη σε υπολογιστές, που δεν αντικατοπτρίζει απαραίτητα αυτή του ανθρώπου.
Επομένως, πολύ σωστά, δεν είναι ανθρωπόμορφη η τεχνητή νοημοσύνη, για το λόγο, πρώτον, ότι δεν καταλαβαίνουμε τον ανθρώπινο εγκέφαλο, αφετέρου δε, διότι οι υπολογιστές έχουν δυνατότητες που δεν έχουν οι άνθρωποι και θέλουμε να εκμεταλλευτούμε αυτές τις extra δυνατότητες.

Β. Βενιζέλος: Έχουν υπολογιστική ικανότητα πολύ μεγαλύτερη, ας το πούμε έτσι.

Κ. Δασκαλάκης: Οι υπολογιστές έχουν τεράστια ικανότητα να κάνουν σωστά τεράστιους υπολογισμούς, που ο άνθρωπος δεν μπορεί να τους κάνει τόσο γρήγορα. Από την άλλη, μπορεί κανείς να πει ότι δεν είναι τόσο δημιουργικές όσο ο ανθρώπινος εγκέφαλος οι μηχανές.

Β. Βενιζέλος: Προς το παρόν.

Κ. Δασκαλάκης: Προς το παρόν, τουλάχιστον.

Β. Βενιζέλος: Οι συνάψεις μπορεί να βελτιωθούν και ως προς τις μηχανές, μπορεί να αποκτήσουν ικανότητα διασύνδεσης και δημιουργίας πολύ μεγαλύτερη. Να ρωτήσω το εξής όμως, θα μπορούσε να είναι έτσι κατασκευαστικά οργανωμένο το πράγμα ώστε να προστεθεί και μία συναισθηματική ή ηθική διάσταση σε αυτό που κάνει η υπολογιστική μηχανή και, ιδίως, στην τεχνητή μάθηση; Δηλαδή, θα μπορούσε να αποκτήσει και στοιχεία συναισθηματικής νοημοσύνης και ηθικής αξιολόγησης η μηχανή;

Στα αυτόνομα οχήματα, στα οχήματα χωρίς οδηγό, όταν πρέπει να κτυπήσει τον παππού ή τον εγγονό το όχημα που δεν έχει οδηγό, πρέπει να πάρει μία απόφαση

Κ. Δασκαλάκης: Νομίζω ότι ναι. Οι αποφάσεις που παίρνει μία μηχανή γίνονται κάτω από κάποια πλαίσια που θέτει ο δημιουργός της μηχανής. Επειδή είναι σημαντικό σε πολλές εφαρμογές, εάν όχι σε όλες τις εφαρμογές, οι αποφάσεις που παίρνει η μηχανή να εμπίπτουν σε κάποια ηθικά πλαίσια και, επίσης, στην αλληλεπίδραση της μηχανής με τον άνθρωπο να υπάρχει αυτό που λέμε συναισθηματική νοημοσύνη, είναι πολύ σημαντικό και γίνεται να τεθούν κάποια πλαίσια γύρω από τα οποία η μηχανή αντιλαμβάνεται τον κόσμο και παίρνει αποφάσεις.
Το δύσκολο επιστημονικά θέμα εδώ, όμως, είναι ότι δεν υπάρχει μαθηματικός ορισμός του τι είναι ηθική απόφαση ή του τι εστί συναισθηματική νοημοσύνη. Και, επειδή λείπει αυτός ο μαθηματικός ορισμός, πρέπει να το προσεγγίσουμε σε αλληλεπίδραση με τον άνθρωπο.

Β. Βενιζέλος: Λείπει και ο νομικός ορισμός –θα σας πω και τη δική μου οπτική γωνία.

Κ. Δασκαλάκης: Ναι, πολύ σημαντικό.

Β. Βενιζέλος: Έχετε απόλυτο δίκιο, λείπει και ο μαθηματικός και ο νομικός ορισμός του τι σημαίνουν αυτά. Μας ενδιαφέρουν και εμάς τους νομικούς, ιδίως στο πεδίο του Συνταγματικού Δικαίου, της Βιοηθικής, του Ποινικού Δικαίου πολύ συχνά, τα θέματα αυτά.
Να δώσω ένα παράδειγμα, το μαθητικό παράδειγμα. Στα αυτόνομα οχήματα, στα οχήματα χωρίς οδηγό, όταν πρέπει να κτυπήσει τον παππού ή τον εγγονό το όχημα που δεν έχει οδηγό, πρέπει να πάρει μία απόφαση η οποία είναι μία απόφαση, ας το πούμε έτσι, ηθική, ωφελιμιστική θα λέγαμε φιλοσοφικά. Εκεί πια πρέπει ο κατασκευαστής να έχει προνοήσει με βάση τις δικές του ηθικές επιλογές, σε ένα αφηρημένο επίπεδο.

Κ. Δασκαλάκης: Ναι. Ή ο χρήστης του αυτοκινήτου με βάση τις δικές του επιλογές και μετά τίθεται και, επίσης, νομικά και θέμα του ποιος είναι υπεύθυνος για το ατύχημα. Δηλαδή, εάν το αυτοκίνητο που ανήκει σε εμένα, όταν είναι στο πρόγραμμα αυτο-οδήγησης, δημιουργήσει ένα ατύχημα, φταίω εγώ, φταίει ο κατασκευαστής, φταίει ο μηχανικός που πήγα στο service και άλλαξε κάτι;

Β. Βενιζέλος: Το έχουμε στην Ελλάδα αυτό, υπάρχει τώρα. Επειδή στο Δήμο Τρικκαίων, στα Τρίκαλα, υπάρχουν αυτόνομα λεωφορεία, βεβαίως υπάρχει ένα ζήτημα ευθύνης, και αστικής και ποινικής, για το πώς λειτουργεί το μηχάνημα, κατά την απλή λογική ότι μπορεί και ο ιδιοκτήτης ενός ζώου, ενός σκύλου για παράδειγμα, να έχει ποινική ευθύνη γιατί δεν έχει φροντίσει για τα όρια συμπεριφοράς του κατοικίδιου το οποίο έχει υπό το δικό του έλεγχο.
Χρησιμοποιήσαμε τη λέξη αλγόριθμος, που για εσάς, φυσικά, είναι κάτι το αυτονόητο, αλλά θα ήθελα, εάν μπορείτε, σε λίγα δευτερόλεπτα να μας δώσετε έναν ορισμό της έννοιας «αλγόριθμος», για να μας παρακολουθούν όλοι οι φίλοι μας με μεγαλύτερη άνεση.

Κ. Δασκαλάκης: Πρώτα από όλα, να πω ότι ο αλγόριθμος δεν έχει να κάνει σε τίποτα με το λογάριθμο, εκτός από το ότι χρησιμοποιούν τα ίδια γράμματα. Ο αλγόριθμος είναι, πολύ απλά, μία συνταγή. Εδώ πρέπει να πούμε ότι οι υπολογιστές, κατά βάση, είναι χαζά όντα. Ο υπολογιστής ακολουθεί με ακρίβεια τις οδηγίες που έχει δώσει σε αυτόν ο προγραμματιστής του.

Β. Βενιζέλος: Δηλαδή, είναι ένα πρόγραμμα ο αλγόριθμος.

Κ. Δασκαλάκης: Ο αλγόριθμος είναι ένα πρόγραμμα.

Β. Βενιζέλος: Το οποίο αποτυπώνεται, ας το πούμε, μαθηματικά, τεχνικά, με μία τεχνική γλώσσα.

Κ. Δασκαλάκης: Αποτυπώνεται μαθηματικά, μπορεί να εκφρασθεί σε διάφορες γλώσσες προγραμματισμού. Οι γλώσσες προγραμματισμού σου δίνουν ένα λεξιλόγιο για να εκφράσεις μία συνταγή. Ο αλγόριθμος μπορεί να νοηθεί ως μία συνταγή στην καθομιλουμένη, αλλά η συνταγή αυτή πρέπει να είναι διατυπωμένη με τεράστια ακρίβεια. Δηλαδή, δεν μπορείς να πεις στον υπολογιστή «Πάρε αυτά τα δεδομένα και πες μου τι θα γίνει». Ο υπολογιστής δεν έχει καμία έννοια του κόσμου, ο υπολογιστής καταλαβαίνει πρόσθεση, αφαίρεση, πολλαπλασιασμό, αυτό είναι στο τέλος της ημέρας το τι κάνει ο υπολογιστής. Πρέπει εσύ, λοιπόν, ως προγραμματιστής, τον αφηρημένο υπολογισμό που θέλεις να κάνεις, να τον σπάσεις σε μία τεράστια ακολουθία από πολύ μικρά βήματα, που έχουν να κάνουν με πρόσθεση, αφαίρεση, αποθήκευση στη μνήμη, ανάκληση από τη μνήμη –πάρα πολύ απλές πράξεις.

Β. Βενιζέλος: Εμάς τους νομικούς και τους πολιτικούς, για παράδειγμα στο Συμβούλιο της Ευρώπης τα τελευταία χρόνια, μας έχει απασχολήσει πάρα πολύ το ζήτημα της χρήσης μεθόδων τεχνητής νοημοσύνης και αλγορίθμων στην οργάνωση και την απονομή της Δικαιοσύνης. Υπάρχουν πολιτείες στις Ηνωμένες Πολιτείες, που χρησιμοποιούν μέσα τεχνητής νοημοσύνης και αλγόριθμους, για παράδειγμα, ως προς την προσωρινή κράτηση στις ποινικές υποθέσεις, εάν ο κατηγορούμενος πρέπει να κρατηθεί προσωρινά ή να αφεθεί με μία εγγύηση έως τη διεξαγωγή της δίκης. Επίσης, είναι προφανές ότι πολύ εύκολα η τεχνητή νοημοσύνη μας επιτρέπει να δούμε τη νομολογία, να δούμε τη βιβλιογραφία, δηλαδή να γλιτώσουμε έναν κόπο τεράστιο και να έχουμε πάρα πολύ καλή ενημέρωση. Αλλά αυτό είναι η προετοιμασία, όταν φθάνεις στη δικαιοδοτική κρίση, που είναι μία κρίση ανθρώπινη, νομική και ηθική ταυτόχρονα, τότε μπορεί ο αλγόριθμος να πει ότι αυτός που είναι λευκός, ψηλός, όμορφος θα πάει σπίτι του και ο άλλος που είναι μαύρος ή ισπανόφωνος και, ως εκ τούτου, ανήκει σε μειονότητες εναντίον των οποίων υπάρχουν διακρίσεις, θα πάει να προφυλακιστεί;
Αυτό είναι ένα τεράστιο ζήτημα και έχουν εκδοθεί και σχετικές αποφάσεις, συστάσεις αυτών των διεθνών Οργανισμών, κυρίως των ευρωπαϊκών, που έχουν μεγαλύτερη ευαισθησία στα θέματα αυτά. Μας έχει απασχολήσει, λοιπόν, τι γίνεται με τους αλγορίθμους .

Κ. Δασκαλάκης: Ναι, υπάρχει ένα τεράστιο ζήτημα εδώ με το παράδειγμα που λέτε, και άλλα, και αυτό το ζήτημα, βασικά, φέρνει στο προσκήνιο την εξής πραγματικότητα, ότι ένας αλγόριθμος αποτυπώνει αυτό που βλέπει στα δεδομένα του. Εάν τα δεδομένα αυτά έχουν συλλεχθεί σε μία κοινωνία η οποία έχει κάποια στερεότυπα και διακρίνει εναντίον κάποιων ομάδων, ο αλγόριθμος θα αναπαράγει αυτά τα πράγματα, διότι ο αλγόριθμος, όπως λέγαμε πριν, δεν έχει κάποια δίκη του ηθική . Εκτός εάν ο κατασκευαστής του αλγορίθμου –αυτός ο διάλογος, ουσιαστικά, που γίνεται μεταξύ των κατασκευαστών των αλγορίθμων και όλης της υπόλοιπης κοινωνίας που κρίνει το πώς λειτουργούν οι αλγόριθμοι– αυτό που προσπαθεί βασικά να κάνει είναι να θέσει περιορισμούς, ώστε, εάν αντιληφθεί η κοινωνία ότι ο αλγόριθμος μεροληπτεί σε κάποιους άξονες, μπορεί στην κατασκευή ενός επόμενου αλγορίθμου να αφαιρεθούν οι μεροληψίες σε αυτούς τους άξονες.
Ας πούμε, μπορείς στην είσοδο προς τον αλγόριθμο να αποκρύπτεις κάποια χαρακτηριστικά τα οποία, συγκεκριμένα, έχουν να κάνουν με το φύλο, με την εθνικότητα κτλ . του κατηγορούμενου, από τα οποία να μπορείς να εξάγεις. Γιατί υπάρχει και αυτό το θέμα, ότι μπορείς εσύ να αποκρύψεις κάποια χαρακτηριστικά του κατηγορούμενου, αλλά από άλλα χαρακτηριστικά να μπορείς να εξάγεις με μεγάλη ακρίβεια τα χαρακτηριστικά τα οποία προσπαθείς να αποκρύψεις. Οπότε, είναι δύσκολο το θέμα, δεν είναι απλά ότι θα πει ένας νόμος ότι «Δεν μπορείς να χρησιμοποιήσεις φύλο, εθνικότητα ή κάποια χαρακτηριστικά στην απόφασή σου», γιατί υπάρχουν άλλα.

Β. Βενιζέλος: Σίγουρα υπάρχουν και προσωπικά δεδομένα τα οποία, όταν είναι ευαίσθητα και είσαι εκτός ποινικής διαδικασίας, σε διοικητικούς ελέγχους, δεν έχεις και το δικαίωμα να τα χρησιμοποιήσεις.
Ξέρετε, έγινε εκτεταμένη χρήση αλγορίθμων τώρα στην Ελλάδα προκειμένου να επιλέγεται το δείγμα των επιβατών πτήσεων που θα περάσει από έλεγχο με rapid test ή με μοριακό test, για να εισέλθει στη χώρα λόγω της πανδημίας, λόγω του COVID-19. Αυτός ο αλγόριθμος επιλέγει κάποιους, αφήνει κάποιους άλλους να περνούν. Θέτει προβλήματα από την άποψη αυτή.
Εγώ θέλω να θέσω υπό την κρίση σας μία άποψη που είχα την ευκαιρία να διατυπώσω στο Συνέδριο της Νομικής Σχολής Θεσσαλονίκης για τις νέες τεχνολογίες, που έγινε στην αρχή του καλοκαιριού, με θέμα «Δίκαιο και νέες τεχνολογίες». Είχα κάνει εκεί μία εισήγηση, «Σύνταγμα και νέες τεχνολογίες», και είχα πει το εξής: Θα μπορούσαμε να δεχθούμε στο νομικό μας σύστημα και στο δικαστικό σύστημα και στο διοικητικό σύστημα τη χρήση αλγορίθμων υπό μία θεμελιώδη προϋπόθεση, να μπορείς να αποτυπώσεις τον αλγόριθμο ως νομικό κανόνα. Δηλαδή, να μπορείς να αποτυπώσεις τον αλγόριθμο όχι μαθηματικά ή σε γλώσσα προγραμματισμού, αλλά στη φυσική γλώσσα και με νομική ορολογία, γιατί έτσι ξέρεις ποιος είναι ο κανόνας που εφαρμόζεται. Εάν δεν μπορείς να τον αποτυπώσεις σε φυσική γλώσσα και νομική ορολογία, υπάρχει τεράστια αδιαφάνεια και αδυναμία ελέγχου και αδυναμία προστασίας των ανθρωπίνων δικαιωμάτων. Πώς σας φαίνεται αυτό;

Κ. Δασκαλάκης: Συμφωνώ απόλυτα με τη διατύπωση αυτή και αυτή συνδέεται με ένα τεράστιο ερώτημα που απασχολεί και τους επιστήμονες της Επιστήμης Υπολογιστών, που έχει να κάνει με την ερμηνευτικότητα, την ερμηνεία αλγορίθμων τεχνητής νοημοσύνης. Αυτό κάπως ανάγεται στο εξής, ότι η κλασική Στατιστική Επιστήμη χρησιμοποιεί ως επί το πλείστον απλά στατιστικά μοντέλα επάνω στα οποία βασίζει την ερμηνεία των δεδομένων, επομένως και τις προβλέψεις που κάνει κανείς με αυτά τα απλά στατιστικά μοντέλα, και, έτσι, είναι ερμηνεύσιμες οι προβλέψεις που κάνουν αυτά τα στατιστικά μοντέλα.
Στην τεχνητή νοημοσύνη, για λόγους που ίσως πρέπει να μιλήσουμε λίγο, αυτό που έχει προκύψει είναι ότι οι αλγόριθμοι έχουν γίνει πάρα πολύ πολύπλοκοι, τόσο πολύπλοκοι που βασικά είναι μαύρα κουτιά. Όταν ένα μαύρο κουτί σου δίνει μία σύσταση για το εάν κάποιος θα προφυλακιστεί ή όχι, πρέπει να γνωρίζεις, όπως λέτε και εσείς, πολύ καλά επάνω σε ποια χαρακτηριστικά βάσισε αυτή τη σύσταση του. Εάν αυτοί οι λόγοι επάνω στους οποίους βασίζεται δεν έχουν νομική βάση, είναι πολύ επικίνδυνη η χρήση του αλγορίθμου.

Β. Βενιζέλος: Το είπατε πάρα πολύ ωραία. Πρέπει, λοιπόν, να ανοίξουμε το μαύρο κουτί. Μπορούμε να αξιοποιούμε τους αλγορίθμους και τον τεράστιο πλούτο της τεχνητής νοημοσύνης, αλλά με διαφάνεια, δηλαδή να μπορούμε να καταλαβαίνουμε τι είναι αυτό που ισχύει, πού μας πηγαίνει το πράγμα, αλλιώς δεν μπορούμε να το ελέγξουμε ούτε δημοκρατικά, ούτε νομικά, ούτε ηθικά και ούτω καθεξής.
Με απασχολεί και κάτι άλλο, που φαντάζομαι ότι σας έχει απασχολήσει πολύ σε όλα αυτά τα χρόνια καθώς εσείς από νεαρότατη ηλικία ασχολείσθε με τόση επιτυχία με τα θέματα αυτά. Η τεχνητή νοημοσύνη, η μηχανική μάθηση, όλα αυτά, πώς επηρεάζουν τον ανθρώπινο νου, τον τρόπο με τον οποίο λειτουργεί η ανθρώπινη διάνοια; Μήπως αυξάνουν οι απαιτήσεις ή μειώνονται οι απαιτήσεις; Δηλαδή, η ανθρωπολογική επίπτωση της τεχνητής νοημοσύνης ποια θα είναι σε σχέση με τον τρόπο που σκέπτεται και που αντιδρά ως σύνθετη προσωπικότητα ο άνθρωπος;

Κ. Δασκαλάκης: Εντάξει, δεν χωρά αμφισβήτηση ότι η αλληλεπίδραση αλγορίθμων, όχι μόνο αλγορίθμων τεχνητής νοημοσύνης, αλλά ευρύτερα αυτή η επέλαση των τεχνολογιών που χρησιμοποιούν αλγορίθμους στην κοινωνία μας, έχει αλλάξει τελείως και τη μορφή του ανθρώπου. Δεν χωρά αμφισβήτηση σε αυτό. Δηλαδή την τελευταία εικοσαετία –για να μην αρχίσουμε από πολύ παλιά– έχουμε δει μία τεράστια αλλαγή στον τρόπο που προσεγγίζουμε τη γνώση, την κοινωνικοποίηση μας, την αλληλεπίδραση μας με άλλους ανθρώπους, τη Δημοκρατία.
Οι αλγόριθμοι την τελευταία εικοσαετία έχουν αλλάξει πάρα πολλές αγορές –αγορές εννοώ με την ευρύτερη έννοια του όρου. Αυτό που είδαμε είναι ότι η αγορά της πληροφορίας άλλαξε, η αγορά των ταξί άλλαξε, το πώς βρίσκουμε συντρόφους άλλαξε, ο τρόπος που κοινωνικοποιούμαστε άλλαξε. Εάν δούμε τις τεράστιες εταιρίες της Αμερικής, η κάθε μία από αυτές έχει αλλάξει ένα τεράστιο κομμάτι της αγοράς ή της κοινωνικοποίησής μας ή της Δημοκρατίας.

Β. Βενιζέλος: Άρα, αλλάζει τις συνήθειες. Μήπως αλλάζει και το γονιδίωμα, δηλαδή μήπως με έναν τρόπο έμμεσο φθάνουμε σε έναν άλλο τύπο ανθρώπου, ο οποίος πρέπει να συνομιλεί με αυτό το περιβάλλον, το οποίο είναι τεχνικό, τεχνητό, μηχανικό και ούτω καθεξής. Δηλαδή, μήπως πηγαίνουμε σε ένα σύνθετο ον ανθρωπομηχανής, σε μία άλλη ανθρώπινη κατάσταση, που θα έλεγε και η Hannah Arendt.

Κ. Δασκαλάκης: Ναι, νομίζω ότι αυτή η ραγδαία πρόοδος που βλέπουμε τα τελευταία χρόνια έχει δείξει πιο καταφανώς το πώς ο ανθρώπινος εγκέφαλος προσαρμόζεται και πώς ο άνθρωπος είναι συμπληρωματικός με την τεχνολογία την οποία έχει στη διάθεση του. Θεωρώ ότι και άλλες τεχνολογικές επαναστάσεις έχουν αλλάξει τη μορφή του ανθρώπου, αλλά εδώ έχουμε σε μία περίοδο πολύ μικρή μία τεράστια αλλαγή στον τρόπο ζωής μας.

Β. Βενιζέλος: Και στις εργασιακές σχέσεις, σε όλο το παραγωγικό μοντέλο.

Κ. Δασκαλάκης: Ναι, ακριβώς. Και αυτό που βλέπουμε να γίνεται στο μέλλον είναι να εκτοξεύεται ακόμα περισσότερο αυτή η επέλαση της τεχνολογίας στη ζωή μας και αυτό θα αναδείξει, νομίζω, το πώς ο ανθρώπινος εγκέφαλος προσαρμόζεται. Επομένως, θέτει άμεσα θέματα και στο εργασιακό και στο εκπαιδευτικό και, γενικότερα, σε ένα ευρύτερο κοινωνικό συμβόλαιο, που πρέπει να γραφτεί ξανά, για το πώς θα συμβιβάσουμε αυτή την επέλαση της τεχνολογίας με την ανθρώπινη ύπαρξη.

Β. Βενιζέλος: Δηλαδή, δεν είμαστε πλέον μόνοι μας στο κοινωνικό συμβόλαιο, δεν είναι ένα συμβόλαιο μόνον μεταξύ ανθρώπων, πρέπει να λάβουμε υπόψη μας και μη ανθρώπινους παράγοντες, που έχει δημιουργήσει ο άνθρωπος αλλά πλέον συνυπάρχουν. Αυτό είναι αρκετά πολύπλοκο, εάν λάβει κανείς υπόψη ότι τελούμε και υπό την απειλή των μικρών οντοτήτων που λέγονται ιοί και που θέτουν το ζήτημα των υγειονομικών κρίσεων. Βιοηθική και Τεχνοηθική εμπλέκονται .
Μερικές εφαρμογές πρακτικές της τεχνητής νοημοσύνης και της μηχανικής μάθησης θα μπορούσατε να μας πείτε, για να έχουμε μία προσλαμβάνουσα παράσταση πιο ολοκληρωμένη;

Κ. Δασκαλάκης: Ναι. Αυτή η επανάσταση την οποία αντιλαμβανόμαστε την τελευταία δεκαετία είχε, εν πολλοίς, να κάνει με τη ραγδαία αύξηση των ικανοτήτων των μηχανών στην επεξεργασία της εικόνας, στην κατανόηση των περιεχομένων μίας εικόνας, που μέχρι πρότινος ήταν ένα απροσπέλαστο πρόβλημα, στην κατανόηση των περιεχομένων μίας φωνητικής κυματοσειράς, δηλαδή η ικανότητα των αλγορίθμων να καταγράφουν το λόγο…

Η τεχνολογία έχει πλέον τη δυνατότητα να γεννήσει ένα κείμενο με συνοχή το οποίο πειστικά μπορεί να καταγράφει για τι μπορεί εμείς οι δύο να μιλάμε…

Β. Βενιζέλος: Και τον παλμό, την τονικότητα, πολλά στοιχεία που μπορεί να συνδέονται, ας πούμε, με την ενοχή ή με την αθωότητα, με την ειλικρίνεια ή με το ψέμα.

Κ. Δασκαλάκης: Και αυτό, αλλά ακόμα και στο πιο βασικό πλαίσιο του απλά να καταγράφω, να παίρνω σε ένα τηλεφωνικό κέντρο και, εάν έχω προφορά ελληνική, να μη μου λένε στα αγγλικά «Δεν καταλαβαίνουμε τι λες». Δηλαδή, πλέον, όταν παίρνεις σε ένα τηλεφωνικό κέντρο, ό,τι προφορά και να έχεις σε καταλαβαίνουν. Αυτό μέχρι πρότινος ήταν απροσπέλαστο, επίσης, πρόβλημα.
Οπότε, έχουμε κατανόηση εικόνας και φωνής, έχει συμβεί τεράστια πρόοδος και για αυτό βλέπουμε και αυτές τις τεχνολογίες να έχουν μπει στην πραγματικότητα μας, δηλαδή και το Siri στο κινητό μας και το Google Assistant και το Amazon Alexa. Όλες αυτές είναι τεχνολογίες που ήδη έχουν μπει στην καθημερινότητά μας, που μέχρι πρότινος εθεωρείτο δύσκολο πρόβλημα να καταγράψεις με ακρίβεια μία φωνητική οδηγία που σου δίνει κάποιος άνθρωπος.
Η μηχανική μετάφραση έχει δει τεράστια πρόοδο, δηλαδή πλέον, όπως βλέπουμε και στο Google Translate και σε άλλες εφαρμογές, είναι πολύ πιο ακριβής η μετάφραση. Άλλες επιτυχίες έχουν να κάνουν με τη γέννηση κειμένου, με τη δημιουργία κειμένου. Μπορείς να δώσεις σε έναν υπολογιστή μία πρόταση του τύπου «Παρακαλώ, ο κ. Βενιζέλος και ο κ. Δασκαλάκης συναντιούνται διαδικτυακά για να μιλήσουν για την τεχνητή νοημοσύνη, γράψε μας μία ιστορία για το τι συζήτησαν». Η τεχνολογία έχει πλέον τη δυνατότητα να γεννήσει ένα κείμενο με συνοχή το οποίο πειστικά μπορεί να καταγράφει για τι μπορεί εμείς οι δύο να μιλάμε.

Β. Βενιζέλος: Ή να γράψει ένα ποίημα à la manière de Kavafis, ας πούμε, να πει ότι ο Καβάφης θα το έγραφε έτσι.

Κ. Δασκαλάκης: Θα μπορούσε, ναι.

Β. Βενιζέλος: Που είναι σχετικά μικροί οι στίχοι, όχι εύκολα μεταφράσιμοι αλλά, πάντως, απλούστεροι από τον Ελύτη ή το Σεφέρη.

Κ. Δασκαλάκης: Προφανώς, πάντα υπάρχουν διάφορα επίπεδα στα οποία η ποιότητα του κειμένου αυτού πρέπει να κριθεί, αλλά μία δεκαετία πριν, όταν γεννούσαν οι υπολογιστές κείμενο, ενώ οι προτάσεις ήταν γραμματικά σωστές, η συνοχή του κειμένου δεν υπήρχε. Πλέον μπορεί πειστικά να καταγράψει ο αλγόριθμος ένα κείμενο. Μία κακή εφαρμογή αυτού είναι ότι μπορούμε πολύ εύκολα να έχουμε Twitter bots που να κάνουν συζήτηση στο Twitter και να «τρολάρουν»…

Β. Βενιζέλος: Ή να υποδύονται και τις φωνές μας, ενδεχομένως, και να δούμε ένα βίντεο στο οποίο να λέμε πράγματα που ποτέ δεν έχουμε πει.

Κ. Δασκαλάκης: Ναι, τα deepfake είναι μία άλλη κακή εφαρμογή της ικανότητας των αλγορίθμων να γεννούν εικόνες.

Β. Βενιζέλος: Να ρωτήσω, πόσο ευαίσθητο είναι αυτό το σύστημα; Είδαμε ότι έπεσε το Facebook, το Instagram, το WhatsApp προχθές. Το σύστημα αυτό όλο, που βασίζεται στη τεχνητή νοημοσύνη και τη μηχανική μάθηση, παγκοσμίως, όπως διασυνδέεται με το διαδίκτυο –γιατί όλα αυτά είναι ένα πλέγμα– πόσο ανοικτό σε κυβερνοεπιθέσεις είναι, σε εκβιασμούς, σε μία νέα μορφή εγκληματικότητας τεχνολογικής; Τι μπορούμε να περιμένουμε με νέες μορφές τεχνοεπιθέσεων/κυβερνοεπιθέσεων, κατά τη γνώμη σας;

Κ. Δασκαλάκης: Εντάξει, το θέμα των κυβερνοεπιθέσεων είναι μεγάλο και πιο παλιό, αλλά, όσο μεταφέρουμε περισσότερο τη δραστηριότητα μας στο internet, που είναι αναγκαστικό πόρισμα του ότι πολλή από την παραγωγικότητα μας πρέπει να χρησιμοποιήσει εργαλεία τεχνολογικά, τόσο πιο ευάλωτοι είμαστε σε τέτοιες επιθέσεις. Ας πούμε, εάν κάποιος ρίξει το Amazon AWS, για όσες ώρες είναι κάτω το AWS δεν θα μπορεί πολύς κόσμος να δουλέψει.

Β. Βενιζέλος: Ναι, αλλά και συστήματα οπλικά, γιατί τώρα θα βασίζονται στην τεχνητή νοημοσύνη και οι φρεγάτες μας και οι κορβέτες μας και τα αεροπλάνα μας και τα drones και ούτω καθεξής. Δηλαδή, μιλάμε για πολύ πιο πολύπλοκα ζητήματα.

Κ. Δασκαλάκης: Δεν πάει πολύς καιρός που η βενζίνη στην Αμερική είχε ανέβει αρκετά γιατί έγινε μία κυβερνοεπίθεση σε μία εταιρία που διαχειριζόταν αγωγούς μεταφοράς και, επειδή τα συστήματα ήταν κάτω, παρέλυσε όλο το σύστημα. Νομίζω ότι, όπως έλεγα πριν, όσο περισσότερο μεταφέρεται η δραστηριότητα μας στο internet τόσο πιο ευάλωτοι είμαστε σε τέτοια πράγματα και, για αυτό, τόσο πιο σημαντικό είναι να είμαστε όλοι μας πολύ προσεκτικοί στο να μην πέσουμε θύματα κυβερνοεπιθέσεων. Αυτό είναι το ένα κομμάτι. Αλλά υπάρχει και ένα άλλο κομμάτι το οποίο έχει να κάνει με την τεχνολογία αυτή καθεαυτή και πηγαίνει πίσω σε αυτό που λέγαμε πριν, ότι πολλοί από αυτούς τους αλγορίθμους είναι μαύρα κουτιά. Όταν ένας αλγόριθμος είναι μαύρο κουτί, δεν είναι αξιόπιστος. Εάν έχεις μία σφαιρική κατανόηση του πώς δουλεύει ένας αλγόριθμος, μπορείς να αποφασίσεις εάν είναι αξιόπιστος, εάν αυτός ο αλγόριθμος βρεθεί κάτω από άλλες συνθήκες, ίσως, εάν στρεσαριστεί.

Β. Βενιζέλος: Ακριβώς.

Κ. Δασκαλάκης: Εάν είναι μαύρο κουτί, δεν έχεις τέτοια απόδειξη της ικανότητάς του να είναι πιο ρωμαλέος σε διαφορετικά σενάρια. Ας πούμε, εάν έχεις έναν αλγόριθμο που οδηγεί το αυτοκίνητό σου, ο οποίος αναπτύχθηκε στην Καλιφόρνια από την Tesla ή στο Όστιν, πού ξέρεις εάν είναι μαύρο κουτί, εάν μπορεί να οδηγήσει καλά στην Ισλανδία; Δεν ξέρεις.

Β. Βενιζέλος: Ή εάν έχει γίνει το αυτοκίνητο, ή το οποιοδήποτε μηχάνημα, το αεροπλάνο ή το οπλικό σύστημα, στην Κίνα, για να πάμε και στο πεδίο του παγκόσμιου ανταγωνισμού και, κυρίως, στο μέτωπο Ηνωμένων Πολιτειών-Κίνας –που φαντάζομαι ότι τα ζητήματα τεχνητής νοημοσύνης είναι εξαιρετικά κρίσιμα από την άποψη αυτή.

Κ. Δασκαλάκης: Πολύ καλό παράδειγμα.

Β. Βενιζέλος: Τι σας φοβίζει στο επίπεδο αυτό;

Κ. Δασκαλάκης: Για να συνεχίσουμε το παράδειγμα μας, εάν κάποιος εχθρός μας δίνει ένα μαύρο κουτί, πού ξέρουμε τι δυνατότητες έχει αυτό το μαύρο κουτί; Μπορεί με μία περίεργη ειδική είσοδο να αποφασίσει να κάνει μία τρελή ενέργεια, την οποία δεν μπορούσαμε να την προβλέψουμε.

Β. Βενιζέλος: Άρα, χρειαζόμαστε πρωτόκολλα τα οποία να ελέγχονται με κάποιο τρόπο, να ελέγχονται δημοκρατικά, πολιτικά, μέσω διεθνών Οργανισμών, με διεθνείς συμβάσεις. Γιατί, εάν δεν υπάρχουν τέτοιου είδους πρωτόκολλα, μπορεί να έχουμε εξελίξεις που μετά δεν μπορούμε να τις ελέγξουμε, ούτε να τις κατανοήσουμε ενδεχομένως. Πώς σας φαίνεται αυτό;

Κ. Δασκαλάκης: Αφενός μεν χρειάζονται πρωτόκολλα συνεργασίας, όταν ένα κομμάτι μίας τεχνολογίας αναπτύσσεται από μία άλλη χώρα και χρησιμοποιείται σε μία διαφορετική χώρα, αλλά και στην επιστημονική πλευρά χρειάζονται εργαλεία με τα οποία να μπορούμε να κατανοήσουμε το τι συμβαίνει μέσα στο μαύρο κουτί, να κάνουμε inspection.

Β. Βενιζέλος: Επιθεώρηση, μία επιθεώρηση αντίστοιχη των πυρηνικών όπλων.

Κ. Δασκαλάκης: Ναι.

Β. Βενιζέλος: Για να μη σας κουράζουμε, γιατί μας κάνετε μεγάλη χαρά και τιμή που είστε μαζί μας, αλλά δεν θέλουμε και να σας εξοντώσουμε, γιατί έχετε και πολλά να κάνετε εκεί, εάν έκανα μία γενική ερώτηση σε σχέση με την πρόβλεψη, την αισιοδοξία, το πώς τοποθετείστε απέναντι στο φαινόμενο και στη δυναμική του τα επόμενα χρόνια, όχι απλώς με τα λογικά σας εργαλεία ,τα επιστημονικά, αλλά και με το ένστικτό σας, γιατί, ευτυχώς, μιλάμε μεταξύ ανθρώπων τώρα, χωρίς να παρεμβάλλεται η τεχνητή νοημοσύνη, ποια θα ήταν η απάντηση σας;

Η τεχνολογία αφέθηκε ανεξέλεγκτη να εισέλθει στην καθημερινότητά μας, χωρίς κάποιες ασφαλιστικές δικλείδες

Κ. Δασκαλάκης: Κοιτάξτε, αυτή με το χρόνο αλλάζει. Δηλαδή, εάν με ρωτούσατε στην αρχή του internet εάν είμαι αισιόδοξος για το internet, θεωρούσα ότι θα φέρει εκδημοκρατισμό, θα φέρει μεγαλύτερη ισότητα, διότι θα έχουμε όλη πρόσβαση στη γνώση, διότι θα μπορούμε όλοι να εκφράσουμε την πολιτική μας άποψη, διότι θα έχουμε εύκολη πρόσβαση στην πληροφορία και όχι μόνο την πληροφορία που μας ταΐζουν κάποια Μέσα Ενημέρωσης, τα οποία ενδεχομένως σε κάποιες χώρες να ελέγχονται από το καθεστώς κ.λπ. Αυτή ήταν η προοπτική μου τότε.
Αυτά που είδαμε να γίνονται την τελευταία δεκαετία έχουν αλλάξει πάρα πολύ την αισιοδοξία γύρω από αυτό το πράγμα. Δηλαδή, πραγματικά βλέπουμε ότι η τεχνολογία αφέθηκε ανεξέλεγκτη να εισέλθει στην καθημερινότητά μας, χωρίς κάποιες ασφαλιστικές δικλείδες και κίνητρα στις εταιρείες οι οποίες αναπτύσσουν αυτή την τεχνολογία να βάλουν ασφαλιστικές δικλείδες, ώστε να μην ξεφύγει τελείως το τρένο. Αυτό που είδαμε είναι να ξεφεύγει το τρένο και αυτό που πρέπει να κάνουμε, οι πολιτικοί, είναι να θέσουμε όρια στην τεχνολογία, χωρίς προφανώς να βάζουμε φρένο στην ανταγωνιστικότητα μας λόγω των ορίων αυτών.

Β. Βενιζέλος: Ένα πλαίσιο διαφάνειας, πρωτίστως. Να πω το εξής, για να πλησιάζουμε προς το τέλος. Εάν σας ζητούσα να κατατάξουμε τις μεγάλες οικονομίες, τις Ηνωμένες Πολιτείες, την Ευρωπαϊκή Ένωση, την Κίνα, ας βάλουμε και τη Ρωσία, τις ανερχόμενες δυνάμεις, όπως είναι η Ινδία, η Βραζιλία, από πλευράς τεχνητής νοημοσύνης και των συναφών δραστηριοτήτων, ποια σειρά κατάταξης θα κάνατε σήμερα και ποια θα κάνατε μετά από 30 χρόνια;

Κ. Δασκαλάκης: Νομίζω ότι, προς το παρόν, δεν υπάρχει ερώτημα για το εάν η Αμερική είναι top, παραπάνω από την Κίνα, ωστόσο όλα αυτά είναι κινούμενη άμμος. Δηλαδή, το βασικό χαρακτηριστικό της Αμερικής, που της δίνει αυτή τη στιγμή πλεονέκτημα, είναι ότι τα Πανεπιστήμια της Αμερικής είναι ανώτερα, έχει συγκεντρώσει πάρα πολλά σημαντικά Πανεπιστήμια στα οποία αναπτύσσεται αυτή η τεχνολογία. Αυτή η τεχνολογία, βέβαια, είναι εν πολλοίς open source, δηλαδή οποιοσδήποτε μπορεί να τη χρησιμοποιήσει. Πάντως, το γεγονός ότι τα Πανεπιστήμια της Αμερικής είναι τόσο καλά της δίνει πλεονέκτημα εκεί. Η Κίνα έχει άλλα πλεονεκτήματα όμως –πλεονεκτήματα καλώς ή κακώς. Το πρώτο είναι ότι η Κίνα μαζεύει πάρα πολλά δεδομένα για τους πολίτες της, τόσο πολύ…

Β. Βενιζέλος: Είναι πανοπτικό κράτος.

Κ. Δασκαλάκης: Είναι πανοπτικό κράτος, μαζεύει πάρα πολλά δεδομένα και, όπως λέγαμε πριν, οι αλγόριθμοι, εάν έχουν περισσότερα δεδομένα, γίνονται καλύτεροι –εάν έχουν τη σωστή τεχνολογία μέσα τους, βέβαια.

Β. Βενιζέλος: Προφανώς. Το μαύρο κουτί εκεί είναι καλά κλεισμένο και τα κλειδιά τα κρατά ένα κράτος το οποίο, εν πάση περιπτώσει, δεν δηλώνει δημοκρατικό, δηλώνει ότι έχει άλλες αρχές και πεποιθήσεις.

Κ. Δασκαλάκης: Ένα κράτος με περισσότερα δεδομένα μπορεί να αναπτύξει καλύτερους αλγορίθμους, εάν έχει και καλή τεχνογνωσία. Το δεύτερο κομμάτι που δίνει ανταγωνιστικότητα στην Κίνα είναι ότι έχει περισσότερους πολίτες.

Β. Βενιζέλος: Προφανώς, αλλά και η Ινδία έχει πολλούς πολίτες και μιλά και αγγλικά και έχει και παράδοση στα θέματα πληροφορικής, προγραμματισμού κτλ. Πώς τη βλέπετε την Ινδία στο πλαίσιο αυτό;

Κ. Δασκαλάκης: Η Ινδία έχει πάρα πολύ καλούς επιστήμονες και μηχανικούς, δηλαδή ανέρχεται, αλλά δεν έχει φθάσει ακόμα στο επίπεδο της Κίνας. Σιγά-σιγά, βλέπουμε startups και από την Ινδία, αλλά δεν έχει φθάσει να παίζει τόσο παγκόσμιο παιχνίδι όσο παίζουν η Αμερική και η Κίνα.

Β. Βενιζέλος: Η Ελλάδα έχει μία διακριτή θέση στο στερέωμα αυτό ή είναι πολύ μικρή για να έχει;

Κ. Δασκαλάκης: Η Ελλάδα δεν είναι πολύ μικρή για να έχει, γιατί ένα καλό αυτών των τεχνολογιών είναι ότι δεν χρειάζονται τεράστιες υποδομές. Εντάξει, χρειάζεται πρόσβαση σε υπερυπολογιστές.

Β. Βενιζέλος: Ευελιξία, διανοητικό κεφάλαιο, άλλα πράγματα τα οποία θα μπορούσαμε να τα έχουμε, ναι.

Κ. Δασκαλάκης: Νομίζω ότι είναι ένα τρένο που η Ελλάδα πρέπει να το πιάσει και νομίζω ότι υπάρχει ταλέντο στα Ελληνικά Πανεπιστήμια, που μπορεί να το πιάσει το τρένο αυτό, και νομίζω ότι θα είναι μία πολύ σημαντική επένδυση για την Ελλάδα.

Β. Βενιζέλος: Μάλιστα.

Κ. Δασκαλάκης: Η Αγγλία, ας πούμε, έχει μπει πολύ εντατικά στην έρευνα για τεχνητή νοημοσύνη, με το Alan Turing Institute και με άλλες εταιρίες που έχουν έδρα εκεί, όπως η DeepMind.

Β. Βενιζέλος: Καλά, έχει και μία παράδοση βέβαια, η αλήθεια είναι, ακριβώς από τον Turing και ίσως και από πολύ παλαιότερα. Βέβαια, πιστεύω ότι η Δύση τελικά θα κερδίσει τη μάχη αυτή, επειδή είναι δημοκρατική και φιλελεύθερη, για τον ίδιο λόγο που οι Ηνωμένες Πολιτείες στον ανταγωνισμό με τη Γερμανία για την ατομική βόμβα κέρδισαν, γιατί το Πρωσικό σύστημα διοίκησης δεν επέτρεψε να φθάσουν πρώτοι οι Γερμανοί στην ατομική βόμβα –άλλο εάν αυτό μετά δημιούργησε τεράστια προβλήματα ηθικά και ανθρωπιστικά.
Αγαπητέ κ. Δασκαλάκη, αγαπητέ μου Κωνσταντίνε, που σε αγαπάμε και σε θαυμάζουμε όλοι στην Ελλάδα και μας κάνεις υπερήφανους, σου ευχόμαστε τα καλύτερα, πάντα να είσαι μπροστά και εκφράζω τις θερμές ευχαριστίες του Κύκλου και όλων των φίλων που μας παρακολούθησαν. Θα ψάξουμε να βρούμε ευκαιρίες να συνεχίσουμε αυτή τη συζήτηση, που ελπίζω να ήταν χρήσιμη και ευχάριστη για τους φίλους και τις φίλες που την άκουσαν.

Κ. Δασκαλάκης: Ήταν μεγάλη μου χαρά. Καλή συνέχεια στο έργο σας και πάντα χαρά μου να τα λέμε.

Β. Βενιζέλος: Ευχαριστώ πολύ. Καλή επιτυχία σε όλα.

Κ. Δασκαλάκης: Να είστε καλά.