上記のエラーは結論からすると、Zabbixのクライアントソフトとエージェントのバージョンに違いあると発生するエラー。これにはまったせいで、クライアントソフトからエージェントに接続することが出来なかった。
環境
Zabbixクライアント側：ubuntu16.04
Zabbixエージェント側：CentOS7.9
最初は、エージェント側の /var/log/zabbix/zabbix_agentd.log 以下にある
failed to accept an incoming connection: connection from "IP" rejected, allowed hosts: "127.0.0.1"みたいなエラーが問題かと思っていてずっと検索していたけど解決しなかったから
クライアント側の /var/log/zabbix/zabbix_server.log を見てMessage from [IP] is missing header. Message ignored.
上記のエラーをググったところ解決した。
自分のZabbixのバージョンはクライアント側は3.2、エージェント側は4.4であった。
試しにクライアント側のバージョンを4.0にアップグレードしたところZabbixの通信が成功した。
その後のアラートメールの検証にも成功したので達成感で溢れている。
まぁ。ubuntuを最新バージョンにしてねって話。
参考
zabbixサーバとエージェントはバージョン合わせないと動かないことがあるっぽい
[Zabbix 3.2][Ubuntu 16.04] Zabbix環境構築手順まとめ
Ubuntu 16.04にzabbix 3.4をインストール
リリースされたばかりのZabbix 4.0を早速インストールしてみる(ubuntu16.04)(未完)
Zabbixを使ってエージェント無しで単純な Webサイト監視だけを行う最短の方法