Οι λογοτεχνικοί κύκλοι της Αθήνας άργησαν πολύ να αποδεχτούν τον Νίκο Καββαδία και να αναγνωρίσουν το μέγεθος του ποιητικού του έργου. Σίγουρα, τους φόβιζε και τους προκαλούσε. Ο Νίκος Καββαδίας, ο «αρμενιστής» ποιητής, όπως, τον αποκαλούσαν είναι, ίσως, ο μόνος που αξίζει τον χαρακτηρισμό του απόλυτα βιωματικού ποιητή. Στο έργο του μιλάει πάντα για τα ταξίδια, τους ναυτικούς που γνώρισε, τους μικρούς και μεγάλους έρωτες, τους καυγάδες και την Ελλάδα. Οτιδήποτε μη συμβιβασμένο βρίσκει τόπο στην ποίηση του. Μπορεί να φάνταζε επικίνδυνος για τα στεγανά του στεριανού κόσμου, αλλά την ίδια στιγμή χιλιάδες, σε όλο τον κόσμο, ανακάλυπταν το έργο του.
Υπάρχει ένα αστείο περιστατικό μεταξύ Καββαδία και Γιώργου Σεφέρη. Όταν, ο νομπελίστας ποιητής έπρεπε να ασκήσει τα καθήκοντα του ως διπλωμάτης κατέπλευσε στην Βυρηττό. Εκεί, ανέλαβε ο Καββαδίας να τον ξεναγήσει. Σε μια από τις βόλτες με το αυτοκίνητο οι δυο άντρες πέρασαν από μια συνοικία όπου υπήρχε έντονο το ελληνικό στοιχείο. Στα μπαλκόνια έβλεπες κρεμασμένες ελληνικές σημαίες, βασιλικούς στις γλάστρες και ακούγονταν ρεμπέτικα τραγούδια. Ο Σεφέρης ενθουσιάστηκε και ρώτησε τον Καββαδία που βρίσκονται. Τότε, ο Καββαδίας του φανέρωσε πως βρίσκονταν στην περιοχή με τα ελληνικά μπουρδέλα. Ο Σεφέρης εκνευρίστηκε και τον κατέβασε κάτω από το αμάξι.
Ένα άλλο περιστατικό που μαρτυράει τον έντονο χαρακτήρα του είναι ο καυγάς που είχε κάνει σε ένα πορνείο στην Αργεντινή με σκοπό να σώσει μια Ελληνίδα ιερόδουλη από ένα μαστροπό. Αφού, τον μαχαίρωσαν, κατάφερε και την φυγάδευσε. Περνώντας τα χρόνια την συνάντησε στο σπίτι του Καραγάτση, σε μια παρέα πολλών ατόμων. Εκείνη έκανε πως δεν τον ήξερε κι όταν εκείνος επέμενε η κοπέλα, είπε πως την παρενοχλεί με αποτέλεσμα να του ζητήσουν να φύγει. Ο Καββαδίας της ζήτησε συγνώμη κι έφυγε.
Αυτός ήταν ο «Κόλιας», όπως ήταν το παρατσούκλι του μεταξύ των συντρόφων του ναυτικών, οι οποίοι, αρκετοί από αυτούς αγνοούσαν ποιος στα αλήθεια είναι. Όταν ρωτήθηκε πως νιώθει που πολλοί δεν τον ξέρουν απάντησε πως «δεν υπάρχει κάτι σε εμένα που να αξίζει να γνωρίζεις. Ένας μικρός άνθρωπος είμαι που αγαπάω τα κορίτσια, την ποίηση και την θάλασσα»!