uses
FMX.Dialogs,
System.UITypes;

を追加

列挙型は、型から書くのがFiremonkey流らしい。

  if mrOk = MessageDlg('ゲームを終了していいですか。', TMsgDlgType.mtConfirmation,  [TMsgDlgBtn.mbOk, TMsgDlgBtn.mbCancel], 0) then
  begin
    GameStep := gsGameEnd;
    Viewer.MainTabPage := mtTitle;
  end;