BlackboxBench

ImageNet Leaderboard



surrogate model=ResNet-50
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.943 0.601 0.51 0.364 0.562 0.588 0.402 0.457 0.483 0.283 0.559 0.175 0.142 0.203 0.335 0.173 0.173 0.409
PGD 0.967 0.625 0.581 0.4 0.605 0.629 0.414 0.511 0.532 0.322 0.593 0.197 0.145 0.221 0.34 0.172 0.173 0.437
MI-FGSM 0.979 0.68 0.634 0.476 0.689 0.677 0.463 0.582 0.602 0.384 0.638 0.242 0.186 0.264 0.341 0.174 0.171 0.481
NI-FGSM 0.979 0.712 0.639 0.491 0.692 0.672 0.467 0.585 0.614 0.394 0.666 0.237 0.187 0.285 0.34 0.175 0.172 0.489
PI-FGSM 0.996 0.754 0.719 0.528 0.742 0.727 0.547 0.655 0.67 0.454 0.72 0.267 0.196 0.294 0.339 0.175 0.175 0.527
VT 0.986 0.702 0.646 0.445 0.663 0.678 0.474 0.6 0.604 0.406 0.641 0.216 0.181 0.274 0.343 0.175 0.173 0.483
RAP 0.967 0.787 0.704 0.484 0.724 0.757 0.573 0.647 0.663 0.44 0.742 0.244 0.203 0.318 0.341 0.173 0.166 0.525
LinBP 0.994 0.856 0.836 0.637 0.856 0.837 0.667 0.793 0.787 0.606 0.839 0.314 0.236 0.39 0.353 0.178 0.184 0.61
SGM 0.969 0.72 0.67 0.489 0.713 0.726 0.5 0.597 0.642 0.4 0.709 0.216 0.167 0.24 0.344 0.179 0.176 0.497
DI2-FGSM 0.992 0.852 0.831 0.621 0.869 0.854 0.655 0.802 0.798 0.586 0.835 0.247 0.186 0.302 0.342 0.177 0.174 0.595
SI-FGSM 0.958 0.641 0.566 0.399 0.627 0.641 0.438 0.508 0.528 0.341 0.593 0.209 0.158 0.217 0.34 0.174 0.175 0.442
Admix 0.998 0.92 0.919 0.763 0.931 0.915 0.772 0.892 0.892 0.764 0.911 0.43 0.314 0.489 0.362 0.183 0.184 0.685
TI-FGSM 0.999 0.937 0.923 0.801 0.939 0.934 0.811 0.911 0.909 0.816 0.925 0.474 0.298 0.499 0.371 0.19 0.187 0.701
MI-DI 0.998 0.945 0.951 0.874 0.969 0.942 0.831 0.929 0.936 0.834 0.947 0.508 0.323 0.52 0.378 0.198 0.2 0.723
MI-DI-TI 0.993 0.795 0.777 0.616 0.799 0.771 0.613 0.751 0.753 0.552 0.763 0.335 0.25 0.389 0.348 0.177 0.176 0.58
MI-DI-TI-SI 0.994 0.797 0.765 0.587 0.791 0.766 0.6 0.724 0.713 0.548 0.756 0.302 0.215 0.349 0.346 0.176 0.179 0.565
FIA 0.995 0.903 0.897 0.721 0.923 0.892 0.727 0.863 0.868 0.668 0.891 0.341 0.269 0.442 0.35 0.179 0.176 0.653
NAA 0.976 0.888 0.789 0.548 0.845 0.812 0.687 0.728 0.771 0.547 0.815 0.229 0.215 0.336 0.347 0.176 0.174 0.581
DRA 0.981 0.837 0.772 0.502 0.776 0.829 0.659 0.721 0.718 0.538 0.823 0.271 0.247 0.378 0.347 0.178 0.175 0.574
RD 0.933 0.493 0.438 0.312 0.474 0.511 0.278 0.364 0.401 0.219 0.468 0.155 0.133 0.171 0.337 0.173 0.173 0.355
GhostNet 0.979 0.809 0.747 0.557 0.784 0.789 0.629 0.711 0.724 0.527 0.783 0.238 0.213 0.332 0.344 0.18 0.177 0.56
IAA 0.963 0.887 0.842 0.676 0.871 0.874 0.75 0.8 0.833 0.617 0.852 0.31 0.274 0.393 0.364 0.191 0.19 0.629
ILA_BSL 0.971 0.863 0.842 0.7 0.862 0.848 0.716 0.817 0.832 0.653 0.857 0.37 0.344 0.493 0.361 0.191 0.186 0.642
ILA 0.956 0.913 0.913 0.844 0.95 0.97 0.765 0.868 0.896 0.748 0.968 0.723 0.405 0.538 0.465 0.244 0.25 0.73
LGV 0.991 0.941 0.9 0.661 0.908 0.922 0.827 0.867 0.893 0.678 0.919 0.285 0.263 0.396 0.354 0.181 0.178 0.657
SWA 0.967 0.66 0.583 0.363 0.599 0.616 0.447 0.516 0.538 0.326 0.597 0.173 0.143 0.224 0.341 0.173 0.175 0.438
Bayesian_attack 0.963 0.662 0.572 0.388 0.597 0.629 0.42 0.503 0.546 0.316 0.61 0.174 0.14 0.207 0.339 0.178 0.172 0.436
VMI 0.966 0.926 0.894 0.626 0.926 0.925 0.72 0.838 0.882 0.647 0.902 0.264 0.199 0.363 0.352 0.181 0.181 0.635
VNI 0.981 0.937 0.863 0.628 0.93 0.924 0.704 0.806 0.837 0.644 0.893 0.291 0.213 0.366 0.354 0.183 0.182 0.632
SI-RAP 0.997 0.978 0.971 0.762 0.981 0.979 0.866 0.94 0.955 0.771 0.977 0.323 0.269 0.461 0.36 0.183 0.181 0.703
LGV-GhostNet 0.961 0.921 0.899 0.626 0.93 0.924 0.718 0.847 0.89 0.636 0.917 0.264 0.193 0.353 0.354 0.181 0.18 0.635
ens_logit_I-FGSM 1 1 0.902 1 1 0.872 0.761 0.876 0.871 0.656 0.857 0.995 0.224 0.423 0.272 0.118 0.106 0.611
ens_loss_I-FGSM 0.971 0.973 0.802 1 0.972 0.793 0.639 0.772 0.769 0.47 0.77 0.885 0.166 0.307 0.268 0.116 0.103 0.534
ens_longitudinal_I-FGSM 1 1 0.845 1 1 0.838 0.695 0.808 0.814 0.556 0.833 0.99 0.213 0.346 0.272 0.117 0.102 0.572
CWA 1 1 0.864 0.993 1 0.85 0.725 0.83 0.818 0.627 0.818 0.975 0.214 0.392 0.271 0.12 0.108 0.587
AdaEA 1 1 0.911 1 1 0.923 0.829 0.9 0.889 0.752 0.918 0.992 0.299 0.446 0.286 0.12 0.111 0.645
SIA 1 0.993 0.999 0.856 0.997 0.988 0.948 0.995 0.995 0.928 0.984 0.388 0.333 0.63 0.273 0.113 0.106 0.737
PGN 1 0.883 0.937 0.484 0.917 0.872 0.68 0.901 0.913 0.476 0.849 0.273 0.135 0.283 0.275 0.11 0.104 0.594
surrogate model=VGG19-bn
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.437 0.997 0.358 0.295 0.431 0.543 0.34 0.318 0.343 0.298 0.505 0.148 0.118 0.21 0.336 0.174 0.17 0.354
PGD 0.539 1 0.429 0.356 0.527 0.608 0.456 0.386 0.407 0.388 0.57 0.169 0.146 0.24 0.338 0.175 0.172 0.406
MI-FGSM 0.563 0.998 0.462 0.418 0.567 0.621 0.418 0.404 0.443 0.392 0.584 0.19 0.144 0.266 0.337 0.171 0.17 0.42
NI-FGSM 0.563 0.998 0.464 0.431 0.571 0.63 0.426 0.403 0.432 0.389 0.613 0.195 0.156 0.264 0.339 0.171 0.169 0.424
PI-FGSM 0.617 0.999 0.509 0.456 0.629 0.663 0.473 0.469 0.484 0.437 0.642 0.207 0.173 0.305 0.339 0.171 0.169 0.455
VT 0.592 0.997 0.495 0.411 0.597 0.661 0.483 0.436 0.467 0.441 0.63 0.196 0.166 0.325 0.337 0.173 0.172 0.446
RAP 0.541 0.969 0.444 0.373 0.521 0.658 0.456 0.416 0.436 0.393 0.599 0.177 0.148 0.273 0.337 0.172 0.172 0.417
DI2-FGSM 0.754 1 0.62 0.512 0.753 0.831 0.638 0.621 0.609 0.631 0.796 0.217 0.208 0.388 0.342 0.179 0.174 0.545
SI-FGSM 0.645 1 0.535 0.45 0.647 0.712 0.511 0.497 0.538 0.491 0.677 0.204 0.167 0.303 0.34 0.178 0.172 0.475
Admix 0.771 1 0.666 0.547 0.763 0.809 0.679 0.65 0.65 0.659 0.777 0.225 0.182 0.381 0.346 0.174 0.169 0.556
TI-FGSM 0.507 0.998 0.413 0.352 0.511 0.628 0.456 0.396 0.409 0.386 0.593 0.189 0.139 0.245 0.337 0.171 0.172 0.406
MI-DI 0.83 1 0.722 0.639 0.837 0.883 0.717 0.705 0.694 0.743 0.857 0.293 0.238 0.43 0.346 0.175 0.176 0.605
MI-DI-TI 0.862 1 0.784 0.714 0.89 0.903 0.801 0.752 0.762 0.841 0.896 0.329 0.258 0.469 0.352 0.183 0.179 0.646
MI-DI-TI-SI 0.915 1 0.856 0.838 0.935 0.935 0.836 0.838 0.833 0.886 0.925 0.418 0.311 0.56 0.359 0.188 0.183 0.695
VMI 0.703 0.999 0.613 0.549 0.731 0.739 0.574 0.566 0.579 0.562 0.714 0.274 0.221 0.388 0.343 0.174 0.172 0.524
VNI 0.68 0.999 0.579 0.532 0.7 0.719 0.558 0.552 0.562 0.535 0.71 0.257 0.218 0.375 0.34 0.172 0.171 0.509
SI-RAP 0.848 1 0.754 0.657 0.841 0.859 0.709 0.704 0.733 0.729 0.844 0.273 0.248 0.474 0.347 0.175 0.174 0.61
LinBP 0.509 0.948 0.417 0.363 0.513 0.616 0.434 0.391 0.433 0.355 0.609 0.161 0.164 0.244 0.345 0.173 0.174 0.403
ILA_BSL 0.375 0.996 0.287 0.271 0.384 0.449 0.232 0.232 0.267 0.222 0.408 0.139 0.119 0.156 0.335 0.172 0.169 0.307
ILA 0.711 0.998 0.602 0.466 0.688 0.787 0.638 0.586 0.61 0.571 0.762 0.21 0.221 0.372 0.343 0.177 0.173 0.524
FIA 0.79 0.999 0.694 0.614 0.795 0.852 0.728 0.671 0.694 0.682 0.847 0.255 0.275 0.437 0.358 0.184 0.181 0.592
NAA 0.778 0.998 0.674 0.615 0.778 0.814 0.696 0.659 0.685 0.654 0.802 0.3 0.298 0.475 0.354 0.183 0.182 0.585
RD 0.456 0.999 0.364 0.302 0.47 0.572 0.382 0.327 0.353 0.326 0.557 0.158 0.12 0.227 0.338 0.173 0.17 0.37
GhostNet 0.577 1 0.47 0.37 0.566 0.65 0.506 0.445 0.428 0.469 0.626 0.145 0.139 0.272 0.337 0.171 0.176 0.432
DRA 0.942 0.965 0.898 0.852 0.958 0.978 0.797 0.858 0.885 0.777 0.972 0.673 0.399 0.521 0.436 0.226 0.227 0.727
LGV 0.816 0.99 0.725 0.606 0.847 0.904 0.704 0.685 0.697 0.678 0.881 0.209 0.17 0.348 0.344 0.176 0.178 0.586
SWA 0.636 0.996 0.524 0.442 0.653 0.75 0.549 0.496 0.502 0.526 0.705 0.171 0.156 0.318 0.343 0.179 0.171 0.477
Bayesian_attack 0.827 1 0.724 0.571 0.839 0.895 0.761 0.686 0.694 0.755 0.863 0.194 0.209 0.434 0.345 0.176 0.179 0.597
LGV-GhostNet 0.79 0.981 0.689 0.584 0.81 0.882 0.62 0.621 0.667 0.597 0.857 0.187 0.167 0.291 0.347 0.181 0.175 0.556
surrogate model=Inception-V3
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.428 0.49 0.383 0.951 0.426 0.516 0.311 0.342 0.36 0.29 0.488 0.173 0.136 0.202 0.337 0.172 0.169 0.363
PGD 0.451 0.537 0.418 0.962 0.464 0.536 0.33 0.363 0.379 0.317 0.522 0.193 0.139 0.218 0.332 0.171 0.172 0.383
MI-FGSM 0.489 0.558 0.444 0.97 0.529 0.567 0.36 0.426 0.427 0.363 0.56 0.237 0.167 0.259 0.34 0.176 0.171 0.414
NI-FGSM 0.549 0.608 0.474 0.964 0.575 0.625 0.436 0.488 0.475 0.434 0.608 0.231 0.175 0.289 0.339 0.175 0.174 0.448
PI-FGSM 0.587 0.641 0.531 0.988 0.629 0.662 0.467 0.517 0.531 0.482 0.637 0.258 0.189 0.316 0.339 0.175 0.176 0.478
VT 0.458 0.532 0.43 0.98 0.496 0.524 0.351 0.371 0.394 0.354 0.509 0.197 0.176 0.233 0.34 0.172 0.171 0.393
RAP 0.6 0.688 0.523 0.955 0.617 0.664 0.503 0.514 0.53 0.479 0.64 0.229 0.191 0.326 0.342 0.171 0.171 0.479
DI2-FGSM 0.631 0.694 0.574 0.997 0.685 0.694 0.5 0.56 0.573 0.518 0.687 0.27 0.204 0.324 0.344 0.178 0.176 0.506
SI-FGSM 0.532 0.619 0.482 0.972 0.58 0.624 0.383 0.444 0.47 0.372 0.605 0.212 0.152 0.232 0.344 0.177 0.171 0.434
Admix 0.701 0.756 0.608 0.993 0.759 0.744 0.556 0.583 0.627 0.534 0.752 0.262 0.202 0.314 0.345 0.173 0.168 0.534
TI-FGSM 0.445 0.507 0.374 0.959 0.453 0.526 0.306 0.363 0.368 0.309 0.504 0.193 0.141 0.199 0.339 0.17 0.168 0.372
MI-DI 0.692 0.759 0.648 0.999 0.733 0.752 0.586 0.625 0.63 0.623 0.744 0.322 0.244 0.4 0.35 0.179 0.176 0.557
MI-DI-TI 0.683 0.748 0.634 0.998 0.763 0.777 0.582 0.631 0.66 0.642 0.744 0.353 0.223 0.405 0.354 0.188 0.181 0.563
MI-DI-TI-SI 0.75 0.783 0.698 1 0.813 0.788 0.595 0.665 0.686 0.655 0.781 0.377 0.227 0.379 0.367 0.192 0.192 0.585
VMI 0.59 0.643 0.564 0.982 0.635 0.652 0.484 0.548 0.544 0.516 0.645 0.314 0.234 0.358 0.346 0.181 0.178 0.495
VNI 0.612 0.664 0.557 0.987 0.638 0.668 0.51 0.55 0.571 0.529 0.648 0.283 0.224 0.357 0.345 0.178 0.176 0.5
SI-RAP 0.733 0.772 0.665 0.997 0.773 0.761 0.569 0.649 0.639 0.596 0.745 0.322 0.223 0.389 0.348 0.181 0.176 0.561
ILA_BSL 0.351 0.394 0.304 0.921 0.373 0.416 0.221 0.267 0.315 0.232 0.411 0.151 0.142 0.151 0.338 0.172 0.17 0.313
ILA 0.669 0.743 0.622 0.988 0.714 0.717 0.594 0.604 0.61 0.584 0.713 0.268 0.251 0.385 0.345 0.179 0.177 0.539
FIA 0.765 0.842 0.728 0.973 0.787 0.85 0.717 0.724 0.707 0.662 0.825 0.291 0.265 0.42 0.353 0.187 0.187 0.605
NAA 0.748 0.802 0.712 0.966 0.77 0.8 0.697 0.711 0.704 0.706 0.783 0.371 0.341 0.525 0.362 0.191 0.188 0.61
RD 0.511 0.611 0.438 0.947 0.547 0.619 0.377 0.409 0.429 0.335 0.601 0.189 0.141 0.183 0.337 0.173 0.171 0.413
GhostNet 0.566 0.67 0.512 0.983 0.598 0.645 0.452 0.491 0.478 0.441 0.637 0.191 0.161 0.254 0.338 0.173 0.174 0.457
LGV 0.862 0.944 0.809 0.829 0.874 0.936 0.699 0.749 0.755 0.656 0.936 0.242 0.189 0.285 0.35 0.181 0.176 0.616
SWA 0.78 0.848 0.696 0.95 0.752 0.812 0.627 0.646 0.625 0.594 0.803 0.243 0.216 0.383 0.345 0.179 0.176 0.569
Bayesian_attack 0.857 0.941 0.809 0.975 0.853 0.889 0.752 0.767 0.744 0.728 0.887 0.259 0.253 0.483 0.346 0.177 0.175 0.641
LGV-GhostNet 0.868 0.942 0.812 0.812 0.883 0.937 0.694 0.739 0.761 0.658 0.945 0.234 0.177 0.295 0.351 0.183 0.178 0.616
surrogate model=DenseNet-121
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.665 0.682 0.552 0.415 0.993 0.658 0.451 0.545 0.563 0.361 0.633 0.216 0.152 0.243 0.342 0.174 0.172 0.46
PGD 0.703 0.742 0.633 0.481 0.996 0.718 0.499 0.59 0.581 0.439 0.685 0.224 0.172 0.274 0.343 0.174 0.176 0.496
MI-FGSM 0.7 0.701 0.636 0.513 0.996 0.707 0.498 0.599 0.609 0.433 0.702 0.278 0.183 0.281 0.344 0.177 0.177 0.502
NI-FGSM 0.736 0.761 0.657 0.533 0.995 0.734 0.545 0.637 0.643 0.466 0.72 0.272 0.2 0.306 0.344 0.175 0.177 0.524
PI-FGSM 0.79 0.781 0.712 0.578 0.997 0.769 0.585 0.699 0.689 0.524 0.759 0.298 0.211 0.333 0.341 0.173 0.177 0.554
VT 0.765 0.773 0.694 0.527 0.997 0.741 0.54 0.646 0.652 0.495 0.722 0.271 0.188 0.328 0.342 0.175 0.176 0.531
RAP 0.843 0.86 0.759 0.591 0.992 0.834 0.654 0.735 0.74 0.592 0.814 0.301 0.247 0.395 0.343 0.175 0.172 0.591
DI2-FGSM 0.857 0.867 0.796 0.616 1 0.833 0.659 0.765 0.76 0.615 0.827 0.328 0.226 0.382 0.352 0.181 0.178 0.602
SI-FGSM 0.776 0.777 0.699 0.573 0.995 0.763 0.547 0.661 0.681 0.488 0.764 0.266 0.185 0.284 0.348 0.179 0.176 0.539
Admix 0.878 0.874 0.819 0.694 0.998 0.858 0.705 0.789 0.81 0.647 0.866 0.321 0.221 0.361 0.349 0.179 0.178 0.62
TI-FGSM 0.698 0.724 0.603 0.475 0.996 0.701 0.507 0.583 0.577 0.44 0.676 0.251 0.176 0.263 0.344 0.177 0.177 0.492
MI-DI 0.915 0.928 0.876 0.771 1 0.906 0.782 0.857 0.86 0.778 0.896 0.45 0.316 0.508 0.363 0.184 0.184 0.681
MI-DI-TI 0.924 0.933 0.889 0.806 1 0.907 0.794 0.87 0.867 0.803 0.913 0.487 0.291 0.526 0.367 0.197 0.191 0.692
MI-DI-TI-SI 0.934 0.931 0.91 0.851 1 0.933 0.796 0.901 0.896 0.83 0.923 0.543 0.32 0.525 0.38 0.199 0.203 0.71
VMI 0.816 0.822 0.761 0.639 0.997 0.798 0.622 0.721 0.742 0.609 0.793 0.365 0.245 0.393 0.352 0.176 0.179 0.59
VNI 0.823 0.827 0.767 0.638 0.998 0.806 0.637 0.734 0.738 0.593 0.8 0.351 0.239 0.403 0.349 0.177 0.179 0.592
SI-RAP 0.906 0.921 0.873 0.75 1 0.904 0.732 0.842 0.849 0.735 0.9 0.393 0.289 0.468 0.35 0.177 0.178 0.663
SGM 0.842 0.864 0.776 0.558 0.998 0.849 0.695 0.746 0.767 0.599 0.859 0.347 0.258 0.439 0.354 0.186 0.179 0.607
ILA_BSL 0.543 0.548 0.447 0.358 0.986 0.537 0.319 0.412 0.44 0.27 0.535 0.169 0.136 0.192 0.338 0.17 0.173 0.387
ILA 0.88 0.878 0.824 0.663 1 0.848 0.721 0.8 0.8 0.682 0.844 0.315 0.258 0.431 0.35 0.182 0.178 0.627
FIA 0.8 0.838 0.756 0.602 0.991 0.819 0.672 0.71 0.737 0.561 0.804 0.273 0.222 0.345 0.355 0.184 0.182 0.579
NAA 0.842 0.848 0.778 0.622 0.997 0.816 0.695 0.763 0.757 0.635 0.817 0.333 0.278 0.441 0.357 0.185 0.184 0.609
RD 0.732 0.773 0.611 0.429 0.994 0.72 0.499 0.603 0.615 0.416 0.706 0.187 0.162 0.244 0.347 0.172 0.174 0.493
GhostNet 0.838 0.858 0.757 0.519 0.996 0.808 0.614 0.716 0.749 0.522 0.813 0.219 0.174 0.286 0.343 0.172 0.174 0.562
DRA 0.955 0.946 0.92 0.857 0.983 0.97 0.797 0.895 0.901 0.787 0.978 0.731 0.411 0.568 0.445 0.242 0.24 0.743
LGV 0.957 0.966 0.906 0.711 0.998 0.953 0.771 0.877 0.893 0.744 0.948 0.325 0.243 0.398 0.356 0.185 0.179 0.671
SWA 0.943 0.955 0.883 0.681 0.998 0.937 0.751 0.852 0.867 0.703 0.918 0.342 0.245 0.416 0.355 0.186 0.182 0.66
Bayesian_attack 0.98 0.979 0.958 0.821 0.998 0.978 0.862 0.942 0.954 0.801 0.97 0.373 0.31 0.465 0.359 0.186 0.184 0.713
LGV-GhostNet 0.969 0.971 0.919 0.748 0.997 0.967 0.78 0.876 0.91 0.73 0.961 0.342 0.24 0.374 0.357 0.186 0.184 0.677
surrogate model=ViT-B/16
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.345 0.43 0.295 0.318 0.378 0.49 0.26 0.275 0.314 0.19 0.479 0.466 0.161 0.184 0.347 0.175 0.179 0.311
PGD 0.35 0.429 0.312 0.315 0.391 0.474 0.242 0.295 0.313 0.215 0.462 0.493 0.166 0.184 0.346 0.176 0.176 0.314
MI-FGSM 0.442 0.517 0.41 0.43 0.502 0.588 0.368 0.405 0.418 0.329 0.567 0.738 0.275 0.307 0.348 0.187 0.179 0.412
NI-FGSM 0.443 0.516 0.409 0.433 0.511 0.586 0.37 0.409 0.437 0.314 0.568 0.71 0.249 0.294 0.349 0.182 0.182 0.41
PI-FGSM 0.472 0.541 0.433 0.465 0.527 0.628 0.398 0.444 0.453 0.35 0.597 0.781 0.271 0.332 0.347 0.19 0.179 0.436
VT 0.365 0.399 0.312 0.329 0.39 0.464 0.261 0.283 0.314 0.198 0.454 0.551 0.183 0.203 0.348 0.179 0.179 0.318
RAP 0.415 0.499 0.36 0.387 0.468 0.551 0.307 0.358 0.386 0.269 0.527 0.578 0.223 0.26 0.351 0.181 0.178 0.37
SGM 0.396 0.463 0.344 0.361 0.434 0.551 0.301 0.329 0.345 0.227 0.516 0.491 0.181 0.196 0.358 0.186 0.188 0.345
DI2-FGSM 0.634 0.682 0.592 0.578 0.684 0.747 0.577 0.62 0.62 0.564 0.747 0.956 0.401 0.479 0.365 0.198 0.195 0.567
SI-FGSM 0.366 0.46 0.314 0.328 0.397 0.522 0.266 0.301 0.319 0.212 0.5 0.422 0.156 0.179 0.348 0.18 0.173 0.32
Admix 0.43 0.52 0.369 0.37 0.458 0.589 0.321 0.362 0.41 0.262 0.583 0.558 0.188 0.226 0.349 0.176 0.173 0.373
TI-FGSM 0.38 0.446 0.332 0.341 0.417 0.513 0.292 0.311 0.34 0.231 0.482 0.497 0.168 0.18 0.354 0.188 0.179 0.332
MI-DI 0.746 0.785 0.72 0.69 0.805 0.824 0.718 0.735 0.74 0.719 0.836 0.978 0.537 0.616 0.379 0.208 0.211 0.662
MI-DI-TI 0.762 0.799 0.718 0.723 0.838 0.841 0.723 0.751 0.753 0.718 0.854 0.986 0.509 0.599 0.384 0.216 0.215 0.67
MI-DI-TI-SI 0.814 0.828 0.785 0.769 0.864 0.871 0.774 0.802 0.804 0.788 0.895 0.988 0.537 0.658 0.394 0.219 0.223 0.707
VMI 0.468 0.529 0.426 0.472 0.528 0.591 0.405 0.43 0.453 0.362 0.595 0.789 0.296 0.331 0.351 0.195 0.183 0.436
VNI 0.46 0.527 0.413 0.441 0.516 0.58 0.376 0.422 0.446 0.339 0.575 0.745 0.278 0.313 0.35 0.185 0.186 0.421
SI-RAP 0.446 0.527 0.384 0.423 0.497 0.591 0.326 0.364 0.409 0.276 0.588 0.575 0.215 0.258 0.354 0.193 0.185 0.389
ILA_BSL 0.317 0.37 0.262 0.296 0.343 0.416 0.241 0.264 0.276 0.186 0.426 0.565 0.176 0.184 0.34 0.181 0.179 0.295
ILA 0.487 0.574 0.428 0.46 0.536 0.651 0.407 0.435 0.444 0.344 0.622 0.648 0.235 0.287 0.355 0.188 0.187 0.429
FIA 0.516 0.611 0.48 0.505 0.553 0.62 0.451 0.492 0.493 0.457 0.641 0.617 0.311 0.373 0.372 0.21 0.214 0.466
NAA 0.475 0.56 0.464 0.475 0.539 0.6 0.431 0.442 0.447 0.394 0.584 0.611 0.321 0.362 0.366 0.201 0.199 0.439
RD 0.4 0.466 0.35 0.369 0.425 0.526 0.302 0.336 0.361 0.258 0.528 0.603 0.192 0.237 0.35 0.183 0.181 0.357
GhostNet 0.474 0.558 0.412 0.408 0.515 0.633 0.358 0.398 0.39 0.277 0.64 0.53 0.208 0.226 0.367 0.187 0.192 0.398
LGV 0.485 0.57 0.449 0.427 0.527 0.649 0.369 0.405 0.445 0.311 0.645 0.613 0.2 0.238 0.367 0.187 0.191 0.416
SWA 0.488 0.553 0.419 0.427 0.516 0.619 0.377 0.408 0.427 0.303 0.601 0.703 0.219 0.276 0.356 0.194 0.187 0.416
Bayesian_attack 0.479 0.552 0.426 0.427 0.524 0.624 0.389 0.408 0.444 0.322 0.607 0.708 0.223 0.278 0.361 0.191 0.186 0.421
LGV-GhostNet 0.493 0.591 0.448 0.43 0.526 0.666 0.353 0.424 0.451 0.274 0.666 0.426 0.197 0.219 0.379 0.198 0.197 0.408
surrogate model=ResNet-50
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.824 0.429 0.35 0.276 0.404 0.446 0.246 0.303 0.342 0.179 0.417 0.134 0.118 0.147 0.336 0.172 0.171 0.311
PGD 0.899 0.509 0.448 0.322 0.498 0.511 0.311 0.41 0.433 0.25 0.481 0.163 0.134 0.176 0.335 0.173 0.17 0.366
MI-FGSM 0.876 0.452 0.412 0.314 0.469 0.473 0.264 0.345 0.39 0.218 0.455 0.159 0.133 0.168 0.335 0.171 0.173 0.342
NI-FGSM 0.879 0.472 0.407 0.309 0.449 0.472 0.274 0.354 0.381 0.214 0.468 0.156 0.129 0.168 0.333 0.17 0.171 0.342
PI-FGSM 0.9 0.504 0.448 0.347 0.504 0.505 0.304 0.389 0.42 0.253 0.496 0.159 0.129 0.183 0.333 0.17 0.172 0.366
VT 0.86 0.543 0.531 0.382 0.551 0.55 0.363 0.447 0.471 0.314 0.52 0.198 0.164 0.224 0.337 0.176 0.173 0.4
RAP 0.894 0.557 0.477 0.309 0.518 0.562 0.357 0.426 0.46 0.28 0.513 0.159 0.143 0.204 0.336 0.173 0.172 0.385
LinBP 0.799 0.592 0.455 0.317 0.545 0.557 0.351 0.389 0.419 0.265 0.534 0.134 0.121 0.174 0.339 0.168 0.171 0.372
SGM 0.84 0.558 0.434 0.296 0.489 0.572 0.382 0.387 0.43 0.275 0.554 0.178 0.149 0.212 0.34 0.172 0.169 0.379
DI2-FGSM 0.974 0.737 0.713 0.503 0.747 0.737 0.532 0.644 0.648 0.457 0.707 0.233 0.186 0.302 0.341 0.176 0.178 0.519
SI-FGSM 0.885 0.475 0.461 0.325 0.504 0.524 0.28 0.388 0.406 0.236 0.504 0.157 0.122 0.166 0.345 0.176 0.173 0.36
Admix 0.936 0.644 0.612 0.423 0.623 0.652 0.388 0.552 0.562 0.338 0.619 0.16 0.132 0.204 0.343 0.173 0.175 0.443
TI-FGSM 0.857 0.457 0.366 0.287 0.44 0.475 0.262 0.328 0.369 0.22 0.44 0.147 0.128 0.155 0.334 0.173 0.172 0.33
MI-DI 0.974 0.741 0.704 0.509 0.743 0.736 0.507 0.656 0.651 0.455 0.736 0.23 0.172 0.292 0.342 0.177 0.178 0.518
MI-DI-TI 0.977 0.756 0.716 0.519 0.772 0.737 0.526 0.667 0.673 0.5 0.742 0.241 0.165 0.289 0.342 0.178 0.18 0.528
MI-DI-TI-SI 0.965 0.745 0.73 0.577 0.802 0.765 0.498 0.663 0.692 0.487 0.743 0.263 0.18 0.272 0.354 0.185 0.182 0.535
FIA 0.784 0.555 0.496 0.381 0.523 0.572 0.371 0.436 0.461 0.279 0.541 0.168 0.158 0.214 0.343 0.18 0.179 0.391
NAA 0.838 0.602 0.55 0.429 0.583 0.61 0.414 0.504 0.528 0.346 0.574 0.191 0.186 0.26 0.343 0.18 0.176 0.43
DRA 0.599 0.55 0.487 0.467 0.609 0.726 0.311 0.4 0.455 0.296 0.703 0.304 0.176 0.2 0.42 0.212 0.216 0.419
RD 0.903 0.51 0.437 0.305 0.482 0.516 0.318 0.377 0.424 0.236 0.496 0.137 0.129 0.173 0.336 0.174 0.171 0.36
GhostNet 0.904 0.538 0.452 0.295 0.492 0.522 0.332 0.399 0.43 0.236 0.514 0.144 0.124 0.171 0.337 0.172 0.173 0.367
IAA 0.798 0.632 0.508 0.33 0.567 0.614 0.418 0.44 0.494 0.283 0.613 0.143 0.138 0.182 0.336 0.171 0.175 0.402
ILA_BSL 0.697 0.322 0.273 0.241 0.302 0.356 0.177 0.215 0.254 0.129 0.326 0.117 0.114 0.112 0.335 0.168 0.171 0.253
ILA 0.886 0.516 0.458 0.334 0.502 0.544 0.322 0.391 0.445 0.265 0.504 0.137 0.132 0.186 0.334 0.17 0.171 0.37
LGV 0.88 0.839 0.795 0.502 0.842 0.844 0.55 0.682 0.749 0.48 0.826 0.207 0.156 0.264 0.349 0.175 0.175 0.548
SWA 0.869 0.719 0.623 0.39 0.72 0.714 0.408 0.525 0.562 0.34 0.654 0.153 0.139 0.186 0.34 0.174 0.176 0.452
Bayesian_attack 0.936 0.854 0.799 0.527 0.864 0.871 0.569 0.689 0.754 0.469 0.841 0.204 0.165 0.244 0.349 0.178 0.177 0.558
VMI 0.899 0.536 0.501 0.395 0.541 0.544 0.337 0.431 0.469 0.303 0.527 0.197 0.151 0.223 0.336 0.174 0.174 0.396
VNI 0.917 0.554 0.516 0.403 0.556 0.566 0.352 0.451 0.479 0.315 0.537 0.193 0.157 0.226 0.335 0.173 0.175 0.406
SI-RAP 0.938 0.642 0.623 0.43 0.649 0.667 0.41 0.539 0.558 0.365 0.625 0.184 0.148 0.235 0.346 0.176 0.175 0.454
LGV-GhostNet 0.876 0.835 0.788 0.511 0.84 0.839 0.553 0.697 0.747 0.473 0.826 0.209 0.153 0.273 0.351 0.178 0.178 0.549
ens_logit_I-FGSM 0.996 1 0.63 0.981 0.997 0.635 0.478 0.585 0.613 0.341 0.601 0.942 0.114 0.192 0.264 0.111 0.095 0.435
ens_loss_I-FGSM 0.897 0.947 0.493 0.863 0.923 0.541 0.342 0.463 0.488 0.232 0.495 0.646 0.094 0.138 0.262 0.11 0.093 0.358
ens_longitudinal_I-FGSM 0.998 0.999 0.558 0.987 0.998 0.598 0.415 0.523 0.551 0.284 0.567 0.891 0.103 0.168 0.266 0.112 0.095 0.403
CWA 0.989 0.999 0.545 0.976 0.998 0.594 0.422 0.493 0.53 0.27 0.557 0.87 0.108 0.177 0.265 0.111 0.095 0.397
AdaEA 0.994 1 0.621 0.957 0.997 0.62 0.473 0.582 0.602 0.34 0.613 0.874 0.123 0.205 0.263 0.111 0.098 0.434
SIA 1 0.885 0.927 0.453 0.915 0.85 0.694 0.887 0.905 0.58 0.832 0.201 0.145 0.268 0.266 0.111 0.096 0.589
PGN 1 0.475 0.546 0.143 0.528 0.466 0.28 0.472 0.501 0.137 0.435 0.114 0.062 0.1 0.263 0.108 0.092 0.337
surrogate model=VGG19-bn
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.301 0.978 0.232 0.229 0.311 0.388 0.199 0.192 0.222 0.178 0.355 0.122 0.107 0.13 0.334 0.168 0.169 0.271
PGD 0.425 0.992 0.327 0.286 0.414 0.507 0.296 0.269 0.307 0.278 0.474 0.131 0.116 0.181 0.336 0.171 0.17 0.334
MI-FGSM 0.359 0.984 0.28 0.273 0.373 0.44 0.236 0.231 0.279 0.234 0.4 0.13 0.113 0.154 0.335 0.17 0.169 0.304
NI-FGSM 0.351 0.983 0.283 0.272 0.365 0.445 0.241 0.237 0.273 0.228 0.406 0.131 0.115 0.153 0.333 0.169 0.169 0.303
PI-FGSM 0.386 0.988 0.313 0.29 0.403 0.467 0.272 0.268 0.302 0.253 0.431 0.129 0.12 0.167 0.334 0.169 0.17 0.321
VT 0.458 0.898 0.38 0.337 0.46 0.518 0.31 0.311 0.343 0.3 0.474 0.154 0.144 0.22 0.338 0.171 0.172 0.352
RAP 0.339 0.977 0.276 0.262 0.374 0.459 0.265 0.236 0.275 0.227 0.411 0.124 0.127 0.199 0.336 0.168 0.172 0.307
LinBP 0.287 0.724 0.231 0.225 0.279 0.381 0.176 0.176 0.215 0.145 0.372 0.112 0.1 0.119 0.336 0.167 0.169 0.248
DI2-FGSM 0.592 0.997 0.493 0.379 0.585 0.682 0.452 0.43 0.449 0.45 0.621 0.168 0.143 0.278 0.337 0.17 0.172 0.435
SI-FGSM 0.404 0.985 0.326 0.292 0.405 0.492 0.257 0.271 0.31 0.248 0.463 0.128 0.114 0.173 0.338 0.171 0.171 0.326
Admix 0.508 0.992 0.429 0.331 0.492 0.589 0.365 0.377 0.399 0.352 0.546 0.132 0.122 0.233 0.337 0.171 0.171 0.385
TI-FGSM 0.338 0.984 0.262 0.246 0.345 0.427 0.24 0.224 0.264 0.219 0.4 0.122 0.109 0.162 0.334 0.17 0.171 0.295
MI-DI 0.568 0.997 0.463 0.368 0.55 0.671 0.416 0.393 0.418 0.418 0.611 0.158 0.143 0.261 0.342 0.171 0.174 0.419
MI-DI-TI 0.593 0.996 0.495 0.403 0.61 0.697 0.462 0.464 0.45 0.483 0.638 0.182 0.152 0.256 0.343 0.171 0.174 0.445
MI-DI-TI-SI 0.685 0.996 0.582 0.544 0.724 0.759 0.507 0.547 0.553 0.578 0.704 0.212 0.178 0.3 0.348 0.177 0.176 0.504
VMI 0.467 0.982 0.356 0.357 0.464 0.519 0.31 0.324 0.343 0.297 0.474 0.161 0.144 0.212 0.339 0.171 0.175 0.359
VNI 0.472 0.989 0.363 0.361 0.471 0.517 0.314 0.324 0.353 0.296 0.488 0.159 0.135 0.211 0.334 0.169 0.174 0.361
SI-RAP 0.56 0.994 0.454 0.378 0.551 0.611 0.398 0.406 0.435 0.381 0.569 0.139 0.135 0.247 0.337 0.172 0.17 0.408
ILA_BSL 0.247 0.93 0.169 0.216 0.248 0.342 0.145 0.136 0.178 0.129 0.288 0.106 0.105 0.101 0.336 0.169 0.168 0.236
ILA 0.424 0.974 0.321 0.279 0.419 0.517 0.334 0.293 0.334 0.282 0.487 0.129 0.132 0.208 0.337 0.168 0.171 0.342
FIA 0.407 0.933 0.301 0.303 0.41 0.506 0.306 0.275 0.301 0.246 0.479 0.136 0.132 0.187 0.341 0.175 0.176 0.33
NAA 0.494 0.956 0.406 0.369 0.486 0.579 0.391 0.384 0.392 0.358 0.54 0.17 0.163 0.272 0.339 0.173 0.178 0.391
DRA 0.562 0.645 0.468 0.452 0.612 0.742 0.315 0.384 0.442 0.309 0.692 0.294 0.192 0.205 0.403 0.199 0.202 0.419
RD 0.355 0.991 0.279 0.258 0.382 0.481 0.274 0.241 0.281 0.262 0.445 0.124 0.111 0.172 0.335 0.169 0.17 0.314
GhostNet 0.472 0.997 0.389 0.302 0.465 0.583 0.395 0.355 0.381 0.404 0.548 0.125 0.126 0.227 0.336 0.17 0.17 0.379
LGV 0.644 0.937 0.562 0.445 0.674 0.796 0.449 0.48 0.515 0.462 0.744 0.16 0.14 0.233 0.343 0.173 0.173 0.466
SWA 0.386 0.964 0.303 0.266 0.401 0.517 0.302 0.244 0.289 0.279 0.484 0.123 0.121 0.173 0.335 0.169 0.17 0.325
Bayesian_attack 0.605 0.991 0.492 0.372 0.629 0.721 0.466 0.43 0.482 0.492 0.675 0.142 0.144 0.246 0.336 0.17 0.172 0.445
LGV-GhostNet 0.623 0.911 0.543 0.461 0.652 0.768 0.408 0.456 0.502 0.39 0.738 0.155 0.136 0.202 0.34 0.171 0.175 0.449
surrogate model=Inception-V3
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.317 0.35 0.269 0.874 0.323 0.372 0.189 0.227 0.278 0.2 0.367 0.134 0.128 0.139 0.334 0.168 0.17 0.285
PGD 0.372 0.434 0.346 0.932 0.394 0.458 0.247 0.293 0.332 0.279 0.435 0.158 0.145 0.173 0.338 0.171 0.17 0.334
MI-FGSM 0.356 0.37 0.312 0.887 0.354 0.401 0.219 0.261 0.302 0.229 0.386 0.157 0.132 0.167 0.333 0.172 0.169 0.306
NI-FGSM 0.366 0.377 0.319 0.891 0.37 0.407 0.24 0.274 0.324 0.245 0.397 0.152 0.127 0.169 0.335 0.17 0.17 0.314
PI-FGSM 0.38 0.408 0.34 0.923 0.398 0.438 0.267 0.297 0.338 0.279 0.424 0.157 0.138 0.19 0.333 0.172 0.169 0.332
VT 0.415 0.461 0.38 0.944 0.454 0.484 0.306 0.332 0.375 0.314 0.469 0.19 0.152 0.212 0.34 0.174 0.171 0.363
RAP 0.424 0.488 0.386 0.939 0.444 0.505 0.308 0.342 0.37 0.314 0.474 0.168 0.141 0.205 0.337 0.172 0.17 0.364
DI2-FGSM 0.482 0.518 0.443 0.973 0.534 0.572 0.333 0.406 0.423 0.367 0.538 0.211 0.153 0.244 0.341 0.179 0.176 0.405
SI-FGSM 0.346 0.394 0.311 0.898 0.378 0.441 0.212 0.263 0.297 0.211 0.405 0.146 0.132 0.146 0.341 0.172 0.172 0.31
Admix 0.483 0.517 0.428 0.964 0.517 0.561 0.335 0.402 0.405 0.342 0.522 0.189 0.152 0.21 0.342 0.173 0.173 0.395
TI-FGSM 0.311 0.355 0.263 0.883 0.33 0.376 0.199 0.225 0.271 0.207 0.375 0.14 0.124 0.144 0.336 0.174 0.17 0.287
MI-DI 0.465 0.515 0.434 0.966 0.527 0.571 0.346 0.402 0.423 0.379 0.54 0.199 0.162 0.249 0.339 0.177 0.174 0.404
MI-DI-TI 0.454 0.508 0.425 0.967 0.523 0.56 0.32 0.397 0.422 0.376 0.521 0.206 0.161 0.229 0.344 0.177 0.175 0.398
MI-DI-TI-SI 0.465 0.491 0.432 0.958 0.531 0.565 0.292 0.382 0.415 0.349 0.531 0.203 0.148 0.208 0.353 0.186 0.18 0.393
VMI 0.416 0.465 0.385 0.91 0.45 0.475 0.31 0.36 0.377 0.326 0.457 0.189 0.151 0.232 0.335 0.176 0.174 0.364
VNI 0.42 0.464 0.397 0.931 0.452 0.475 0.313 0.361 0.379 0.328 0.47 0.186 0.158 0.23 0.335 0.174 0.173 0.367
SI-RAP 0.466 0.492 0.407 0.94 0.497 0.535 0.3 0.384 0.398 0.331 0.504 0.188 0.135 0.203 0.344 0.176 0.174 0.381
ILA_BSL 0.252 0.287 0.22 0.76 0.256 0.322 0.151 0.161 0.214 0.138 0.298 0.117 0.108 0.099 0.337 0.169 0.17 0.239
ILA 0.429 0.47 0.378 0.916 0.467 0.499 0.304 0.345 0.371 0.319 0.483 0.167 0.151 0.221 0.336 0.17 0.175 0.365
FIA 0.43 0.518 0.412 0.812 0.467 0.534 0.331 0.356 0.388 0.311 0.513 0.154 0.141 0.204 0.345 0.175 0.177 0.369
NAA 0.484 0.557 0.479 0.899 0.546 0.589 0.425 0.432 0.456 0.414 0.547 0.215 0.197 0.293 0.343 0.179 0.178 0.425
RD 0.416 0.468 0.35 0.883 0.445 0.501 0.253 0.331 0.357 0.251 0.486 0.163 0.133 0.174 0.34 0.172 0.176 0.347
GhostNet 0.511 0.561 0.453 0.976 0.521 0.577 0.379 0.432 0.438 0.373 0.56 0.183 0.146 0.243 0.339 0.173 0.177 0.414
LGV 0.673 0.796 0.623 0.614 0.691 0.82 0.419 0.519 0.546 0.401 0.802 0.171 0.146 0.202 0.346 0.174 0.173 0.477
SWA 0.566 0.68 0.511 0.794 0.553 0.661 0.411 0.437 0.442 0.406 0.63 0.162 0.157 0.239 0.337 0.174 0.172 0.431
Bayesian_attack 0.719 0.811 0.672 0.888 0.687 0.779 0.563 0.601 0.573 0.538 0.754 0.184 0.178 0.32 0.339 0.17 0.178 0.527
LGV-GhostNet 0.648 0.771 0.603 0.595 0.675 0.815 0.412 0.5 0.554 0.388 0.798 0.175 0.159 0.192 0.343 0.172 0.175 0.469
surrogate model=DenseNet-121
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.465 0.483 0.373 0.31 0.954 0.48 0.268 0.328 0.381 0.224 0.465 0.143 0.124 0.158 0.337 0.169 0.171 0.343
PGD 0.576 0.583 0.489 0.382 0.976 0.557 0.371 0.452 0.469 0.318 0.536 0.172 0.138 0.203 0.338 0.173 0.173 0.406
MI-FGSM 0.471 0.466 0.396 0.34 0.954 0.493 0.26 0.336 0.365 0.234 0.461 0.157 0.129 0.156 0.335 0.173 0.172 0.347
NI-FGSM 0.483 0.475 0.402 0.332 0.957 0.498 0.273 0.366 0.379 0.253 0.465 0.156 0.128 0.158 0.337 0.173 0.173 0.353
PI-FGSM 0.512 0.509 0.435 0.362 0.969 0.523 0.287 0.389 0.42 0.273 0.504 0.163 0.134 0.171 0.336 0.173 0.173 0.373
VT 0.622 0.598 0.522 0.441 0.933 0.598 0.397 0.498 0.511 0.37 0.59 0.205 0.168 0.244 0.338 0.173 0.176 0.434
RAP 0.611 0.621 0.524 0.387 0.977 0.612 0.4 0.48 0.518 0.351 0.6 0.174 0.15 0.228 0.334 0.171 0.173 0.43
SGM 0.559 0.568 0.481 0.339 0.963 0.571 0.382 0.428 0.467 0.302 0.567 0.184 0.155 0.227 0.341 0.174 0.172 0.405
DI2-FGSM 0.705 0.723 0.633 0.501 0.986 0.708 0.48 0.596 0.591 0.448 0.704 0.218 0.153 0.266 0.342 0.18 0.179 0.495
SI-FGSM 0.545 0.532 0.468 0.379 0.965 0.565 0.31 0.417 0.461 0.266 0.531 0.159 0.129 0.177 0.34 0.174 0.176 0.388
Admix 0.706 0.7 0.637 0.488 0.98 0.674 0.44 0.565 0.597 0.403 0.659 0.198 0.147 0.22 0.346 0.173 0.178 0.477
TI-FGSM 0.477 0.492 0.395 0.332 0.966 0.508 0.282 0.364 0.4 0.258 0.488 0.161 0.122 0.16 0.34 0.172 0.173 0.358
MI-DI 0.705 0.714 0.633 0.5 0.986 0.698 0.49 0.579 0.598 0.46 0.694 0.218 0.166 0.276 0.343 0.178 0.176 0.495
MI-DI-TI 0.695 0.709 0.623 0.513 0.988 0.7 0.478 0.594 0.588 0.477 0.683 0.237 0.169 0.266 0.345 0.18 0.178 0.495
MI-DI-TI-SI 0.731 0.73 0.672 0.579 0.989 0.727 0.455 0.605 0.629 0.495 0.722 0.275 0.16 0.259 0.353 0.185 0.183 0.515
VMI 0.551 0.547 0.484 0.42 0.964 0.563 0.338 0.42 0.461 0.311 0.537 0.207 0.16 0.209 0.342 0.177 0.175 0.404
VNI 0.57 0.563 0.503 0.421 0.97 0.57 0.356 0.448 0.473 0.322 0.555 0.194 0.156 0.217 0.34 0.173 0.174 0.412
SI-RAP 0.696 0.673 0.628 0.497 0.979 0.688 0.422 0.556 0.571 0.406 0.665 0.212 0.152 0.227 0.342 0.176 0.175 0.474
ILA_BSL 0.327 0.336 0.255 0.251 0.86 0.368 0.169 0.209 0.253 0.152 0.34 0.122 0.106 0.118 0.336 0.17 0.172 0.267
ILA 0.592 0.601 0.532 0.383 0.97 0.587 0.381 0.465 0.52 0.339 0.571 0.165 0.153 0.22 0.336 0.171 0.176 0.421
FIA 0.507 0.562 0.428 0.351 0.903 0.546 0.332 0.389 0.415 0.258 0.533 0.154 0.139 0.174 0.342 0.176 0.176 0.376
NAA 0.592 0.616 0.514 0.392 0.957 0.595 0.415 0.463 0.504 0.343 0.587 0.196 0.164 0.242 0.339 0.176 0.175 0.428
RD 0.578 0.624 0.511 0.357 0.967 0.589 0.368 0.436 0.466 0.322 0.572 0.151 0.142 0.196 0.338 0.173 0.175 0.41
GhostNet 0.714 0.713 0.624 0.425 0.981 0.697 0.445 0.542 0.57 0.367 0.678 0.186 0.146 0.217 0.344 0.173 0.176 0.47
DRA 0.616 0.598 0.535 0.507 0.717 0.735 0.364 0.443 0.473 0.338 0.714 0.336 0.18 0.232 0.401 0.205 0.206 0.447
LGV 0.865 0.873 0.776 0.567 0.973 0.866 0.568 0.691 0.74 0.527 0.85 0.224 0.17 0.265 0.349 0.174 0.178 0.568
SWA 0.747 0.773 0.642 0.415 0.949 0.744 0.441 0.561 0.608 0.399 0.713 0.173 0.154 0.224 0.345 0.174 0.178 0.485
Bayesian_attack 0.8 0.802 0.717 0.541 0.937 0.812 0.5 0.64 0.687 0.414 0.823 0.215 0.17 0.24 0.349 0.178 0.183 0.53
LGV-GhostNet 0.845 0.841 0.759 0.578 0.954 0.863 0.53 0.682 0.735 0.484 0.858 0.244 0.172 0.236 0.352 0.178 0.179 0.558
surrogate model=ViT-B/16
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.253 0.28 0.223 0.254 0.27 0.347 0.164 0.18 0.226 0.146 0.333 0.321 0.132 0.138 0.336 0.173 0.175 0.232
PGD 0.257 0.296 0.228 0.254 0.282 0.358 0.171 0.198 0.233 0.139 0.345 0.353 0.138 0.14 0.335 0.173 0.175 0.24
MI-FGSM 0.264 0.274 0.235 0.266 0.285 0.342 0.192 0.202 0.249 0.169 0.333 0.443 0.147 0.166 0.335 0.177 0.176 0.25
NI-FGSM 0.268 0.282 0.23 0.257 0.277 0.356 0.181 0.196 0.24 0.164 0.337 0.399 0.143 0.163 0.334 0.176 0.176 0.246
PI-FGSM 0.278 0.29 0.245 0.268 0.29 0.365 0.2 0.21 0.256 0.174 0.35 0.457 0.155 0.169 0.335 0.176 0.174 0.258
VT 0.285 0.301 0.247 0.275 0.291 0.366 0.192 0.206 0.255 0.159 0.366 0.442 0.152 0.16 0.335 0.176 0.179 0.258
RAP 0.291 0.324 0.262 0.291 0.334 0.396 0.219 0.25 0.272 0.193 0.385 0.471 0.168 0.186 0.339 0.179 0.178 0.279
SGM 0.258 0.292 0.218 0.255 0.279 0.374 0.169 0.197 0.234 0.136 0.341 0.298 0.13 0.136 0.338 0.173 0.178 0.236
DI2-FGSM 0.429 0.473 0.416 0.401 0.481 0.555 0.399 0.413 0.424 0.37 0.543 0.836 0.262 0.315 0.343 0.182 0.183 0.413
SI-FGSM 0.26 0.281 0.229 0.259 0.279 0.356 0.167 0.186 0.221 0.142 0.345 0.313 0.135 0.138 0.339 0.175 0.176 0.235
Admix 0.29 0.323 0.254 0.281 0.31 0.4 0.205 0.208 0.25 0.169 0.395 0.417 0.152 0.162 0.341 0.176 0.174 0.265
TI-FGSM 0.25 0.287 0.229 0.252 0.284 0.355 0.164 0.191 0.232 0.15 0.32 0.328 0.131 0.134 0.337 0.174 0.175 0.235
MI-DI 0.429 0.477 0.405 0.395 0.477 0.543 0.391 0.403 0.41 0.381 0.536 0.816 0.265 0.325 0.339 0.182 0.183 0.409
MI-DI-TI 0.425 0.461 0.421 0.406 0.49 0.54 0.386 0.41 0.415 0.371 0.54 0.833 0.243 0.315 0.347 0.182 0.182 0.41
MI-DI-TI-SI 0.492 0.533 0.462 0.459 0.543 0.601 0.436 0.457 0.472 0.448 0.593 0.87 0.276 0.354 0.356 0.187 0.19 0.455
VMI 0.276 0.291 0.247 0.276 0.304 0.353 0.211 0.215 0.257 0.183 0.352 0.489 0.164 0.18 0.334 0.177 0.178 0.264
VNI 0.279 0.295 0.242 0.268 0.29 0.361 0.201 0.217 0.259 0.17 0.341 0.464 0.162 0.175 0.335 0.178 0.176 0.26
SI-RAP 0.3 0.327 0.251 0.293 0.318 0.405 0.222 0.229 0.259 0.19 0.396 0.454 0.163 0.175 0.341 0.177 0.18 0.275
ILA_BSL 0.221 0.236 0.184 0.217 0.227 0.293 0.133 0.133 0.189 0.118 0.267 0.294 0.127 0.108 0.334 0.173 0.172 0.202
ILA 0.263 0.301 0.236 0.255 0.274 0.365 0.175 0.195 0.244 0.147 0.348 0.347 0.138 0.148 0.332 0.172 0.175 0.242
FIA 0.293 0.321 0.243 0.286 0.304 0.378 0.204 0.223 0.257 0.181 0.363 0.309 0.156 0.168 0.344 0.184 0.184 0.259
NAA 0.283 0.311 0.256 0.284 0.293 0.397 0.229 0.239 0.272 0.199 0.363 0.401 0.181 0.192 0.339 0.18 0.181 0.271
RD 0.291 0.304 0.242 0.272 0.307 0.385 0.197 0.215 0.249 0.164 0.36 0.432 0.146 0.151 0.343 0.177 0.176 0.259
GhostNet 0.314 0.374 0.274 0.287 0.346 0.449 0.203 0.229 0.273 0.179 0.415 0.322 0.15 0.157 0.347 0.177 0.18 0.275
LGV 0.333 0.372 0.273 0.312 0.373 0.448 0.226 0.234 0.273 0.187 0.448 0.392 0.142 0.143 0.346 0.175 0.181 0.286
SWA 0.308 0.349 0.27 0.294 0.35 0.42 0.222 0.244 0.287 0.178 0.402 0.443 0.148 0.16 0.343 0.177 0.178 0.281
Bayesian_attack 0.314 0.356 0.279 0.294 0.355 0.435 0.232 0.251 0.296 0.187 0.419 0.46 0.154 0.171 0.342 0.178 0.178 0.288
LGV-GhostNet 0.295 0.328 0.243 0.261 0.317 0.405 0.164 0.199 0.246 0.139 0.387 0.22 0.124 0.117 0.35 0.178 0.18 0.244
surrogate model=ResNet-50
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.986 0.027 0.129 0.001 0.082 0.015 0.028 0.082 0.058 0.013 0.013 0 0.001 0.005 0 0 0 0.085
DI2-FGSM 0.986 0.424 0.598 0.191 0.605 0.289 0.372 0.593 0.491 0.378 0.261 0.018 0.021 0.136 0 0 0 0.315
MI-FGSM 0.989 0.036 0.16 0.002 0.095 0.019 0.03 0.119 0.079 0.026 0.01 0 0.002 0.003 0 0 0 0.092
TI-FGSM 0.986 0.044 0.177 0.004 0.111 0.027 0.046 0.148 0.097 0.029 0.024 0.002 0 0.005 0 0 0 0.1
MI-DI2-TI-FGSM 0.986 0.552 0.709 0.276 0.7 0.379 0.514 0.696 0.6 0.54 0.342 0.041 0.016 0.174 0 0 0 0.384
RD 0.985 0.053 0.242 0.002 0.137 0.025 0.063 0.185 0.148 0.031 0.025 0 0 0.011 0 0 0 0.112
PGD 0.983 0.112 0.276 0.019 0.183 0.043 0.077 0.217 0.177 0.058 0.029 0.001 0.001 0.011 0 0 0 0.129
NI-FGSM 0.974 0.278 0.508 0.043 0.334 0.172 0.192 0.41 0.362 0.131 0.122 0.005 0.007 0.069 0 0 0 0.212
PI-FGSM 0.979 0.369 0.592 0.093 0.435 0.258 0.239 0.489 0.46 0.202 0.199 0.015 0.008 0.084 0 0 0 0.26
VT 0.98 0.199 0.423 0.042 0.282 0.089 0.13 0.36 0.297 0.106 0.09 0.005 0.004 0.032 0 0 0 0.179
RAP 0.974 0.162 0.326 0.028 0.229 0.083 0.087 0.246 0.224 0.07 0.066 0.001 0.002 0.017 0 0 0 0.148
LinBP 0.996 0.092 0.181 0.036 0.196 0.044 0.065 0.131 0.096 0.058 0.052 0 0.001 0.011 0 0 0 0.115
SGM 0.961 0.161 0.37 0.038 0.333 0.112 0.161 0.336 0.251 0.129 0.112 0.004 0.004 0.044 0 0 0 0.177
SI-FGSM 0.985 0.105 0.339 0.037 0.31 0.063 0.087 0.279 0.225 0.082 0.061 0.006 0.003 0.01 0 0 0 0.152
Admix 0.984 0.277 0.616 0.123 0.583 0.17 0.223 0.531 0.458 0.254 0.158 0.009 0.005 0.06 0 0 0 0.262
MI-DI 0.986 0.426 0.599 0.173 0.558 0.244 0.381 0.56 0.47 0.364 0.212 0.014 0.013 0.12 0 0 0 0.301
MI-DI-TI-SI 0.984 0.638 0.797 0.503 0.812 0.503 0.56 0.773 0.718 0.681 0.448 0.14 0.043 0.266 0 0 0 0.463
DRA 0.845 0.585 0.749 0.576 0.793 0.774 0.484 0.701 0.665 0.586 0.75 0.497 0.13 0.386 0.002 0.003 0.001 0.502
GhostNet 0.984 0.069 0.329 0.007 0.181 0.03 0.099 0.241 0.187 0.05 0.029 0 0 0.018 0 0 0 0.131
IAA 0.972 0.513 0.81 0.251 0.724 0.358 0.513 0.705 0.661 0.512 0.333 0.039 0.041 0.227 0 0 0 0.392
LGV 0.939 0.588 0.9 0.177 0.793 0.525 0.473 0.789 0.865 0.448 0.425 0.023 0.021 0.214 0 0 0 0.422
SWA 0.963 0.552 0.832 0.171 0.813 0.433 0.384 0.679 0.695 0.421 0.345 0.035 0.027 0.18 0 0 0 0.384
Bayesian_attack 0.957 0.853 0.934 0.59 0.922 0.828 0.749 0.875 0.887 0.765 0.781 0.174 0.134 0.516 0 0 0 0.586
VMI 0.983 0.209 0.426 0.037 0.291 0.094 0.145 0.352 0.304 0.14 0.089 0.003 0.005 0.033 0 0 0 0.183
VNI 0.98 0.387 0.591 0.119 0.446 0.26 0.213 0.53 0.484 0.244 0.228 0.016 0.015 0.082 0 0 0 0.27
SI-RAP 0.999 0.336 0.629 0.175 0.583 0.214 0.222 0.556 0.49 0.276 0.204 0.015 0.014 0.071 0 0 0 0.281
LGV-GhostNet 0.936 0.648 0.908 0.223 0.83 0.588 0.521 0.802 0.879 0.511 0.49 0.031 0.022 0.243 0 0 0 0.449
ILA_BSL 0.984 0.022 0.096 0 0.058 0.011 0.016 0.067 0.042 0.01 0.013 0 0 0.004 0 0 0 0.078
ILA 0.972 0.133 0.351 0.035 0.292 0.064 0.119 0.294 0.216 0.134 0.056 0.002 0.008 0.034 0 0 0 0.159
ens_logit_I-FGSM 0.987 0.951 0.361 0.992 0.988 0.157 0.332 0.366 0.279 0.135 0.138 0.976 0.001 0.073 0 0 0 0.218
ens_loss_I-FGSM 0.986 0.952 0.358 0.994 0.988 0.143 0.34 0.382 0.271 0.14 0.137 0.98 0.002 0.063 0 0 0 0.217
ens_longitudinal_I-FGSM 0.98 0.953 0.398 0.986 0.99 0.207 0.374 0.434 0.325 0.213 0.182 0.984 0.005 0.081 0 0 0 0.246
PGN 0.982 0.409 0.652 0.061 0.557 0.207 0.259 0.565 0.521 0.164 0.197 0.027 0.003 0.048 0 0 0 0.274
SIA 0.98 0.86 0.931 0.548 0.918 0.761 0.834 0.912 0.898 0.814 0.721 0.137 0.101 0.516 0 0 0 0.584
CWA 0.991 0.954 0.517 0.99 0.989 0.282 0.48 0.53 0.412 0.303 0.255 1 0.006 0.132 0 0 0 0.301
AdaEA 0.985 0.949 0.293 0.993 0.981 0.145 0.31 0.317 0.222 0.148 0.114 0.726 0 0.061 0 0 0 0.2
surrogate model=VGG19-bn
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.004 0.947 0.002 0.001 0.01 0.004 0.023 0.004 0 0.028 0.002 0 0 0.011 0 0 0 0.061
PGD 0.05 0.943 0.017 0.018 0.07 0.022 0.069 0.024 0.01 0.139 0.019 0 0.002 0.018 0 0 0 0.082
MI-FGSM 0.01 0.944 0.002 0 0.016 0.008 0.026 0.002 0.001 0.032 0.002 0 0.001 0.008 0 0 0 0.062
NI-FGSM 0.11 0.942 0.053 0.044 0.135 0.065 0.151 0.072 0.032 0.192 0.058 0.003 0.002 0.076 0 0 0 0.114
PI-FGSM 0.16 0.944 0.075 0.062 0.174 0.104 0.191 0.089 0.053 0.244 0.091 0.004 0.006 0.068 0 0 0 0.133
VT 0.121 0.946 0.062 0.053 0.139 0.073 0.137 0.073 0.038 0.202 0.063 0.002 0.006 0.071 0 0 0 0.117
RAP 0.024 0.867 0.013 0.013 0.045 0.016 0.052 0.011 0.004 0.075 0.013 0 0 0.018 0 0 0 0.068
LinBP 0.012 0.92 0.001 0.004 0.016 0.007 0.024 0.004 0.003 0.044 0.003 0 0.001 0.013 0 0 0 0.062
DI2-FGSM 0.219 0.949 0.095 0.06 0.232 0.123 0.269 0.158 0.057 0.383 0.09 0.002 0.008 0.165 0 0 0 0.165
SI-FGSM 0.065 0.945 0.035 0.032 0.117 0.032 0.095 0.044 0.016 0.18 0.035 0.002 0.001 0.064 0 0 0 0.098
Admix 0.121 0.945 0.059 0.063 0.189 0.056 0.152 0.075 0.037 0.269 0.05 0.003 0.008 0.091 0 0 0 0.125
TI-FGSM 0.017 0.947 0.007 0.005 0.029 0.014 0.047 0.012 0.003 0.068 0.011 0.001 0.001 0.023 0 0 0 0.07
MI-DI 0.166 0.944 0.078 0.059 0.219 0.088 0.262 0.123 0.046 0.373 0.083 0.002 0.007 0.155 0 0 0 0.153
MI-DI-TI 0.298 0.941 0.159 0.117 0.322 0.171 0.358 0.213 0.115 0.453 0.131 0.014 0.009 0.218 0 0 0 0.207
MI-DI-TI-SI 0.443 0.94 0.341 0.334 0.535 0.297 0.42 0.371 0.275 0.606 0.243 0.071 0.042 0.362 0 0 0 0.311
VMI 0.118 0.946 0.064 0.044 0.153 0.052 0.13 0.061 0.039 0.216 0.054 0.001 0.001 0.049 0 0 0 0.113
VNI 0.162 0.95 0.08 0.074 0.172 0.094 0.154 0.09 0.056 0.209 0.096 0.01 0.002 0.059 0 0 0 0.13
SI-RAP 0.153 0.965 0.089 0.102 0.238 0.082 0.157 0.098 0.06 0.271 0.063 0.003 0.011 0.108 0 0 0 0.141
ILA_BSL 0.007 0.953 0.001 0 0.006 0.007 0.014 0.002 0 0.023 0.002 0 0 0.008 0 0 0 0.06
ILA 0.018 0.266 0.016 0.008 0.029 0.014 0.023 0.012 0.01 0.044 0.012 0 0 0.01 0 0 0 0.027
RD 0.024 0.931 0.002 0.003 0.033 0.015 0.073 0.013 0.001 0.072 0.011 0 0.001 0.038 0 0 0 0.072
GhostNet 0.14 0.923 0.062 0.034 0.185 0.092 0.276 0.084 0.043 0.33 0.062 0.001 0.01 0.196 0 0 0 0.143
DRA 0.64 0.718 0.558 0.475 0.696 0.714 0.393 0.523 0.489 0.524 0.657 0.416 0.109 0.335 0.001 0.003 0 0.427
LGV 0.316 0.723 0.195 0.161 0.418 0.305 0.318 0.206 0.159 0.379 0.249 0.023 0.026 0.182 0 0 0 0.215
SWA 0.088 0.843 0.023 0.023 0.16 0.066 0.183 0.055 0.019 0.222 0.073 0.004 0.008 0.121 0 0 0 0.111
Bayesian_attack 0.356 0.846 0.204 0.187 0.461 0.304 0.427 0.249 0.152 0.515 0.243 0.018 0.038 0.311 0 0 0 0.254
LGV-GhostNet 0.337 0.704 0.244 0.219 0.425 0.382 0.315 0.215 0.191 0.367 0.309 0.022 0.028 0.179 0 0 0 0.232
surrogate model=Inception-V3
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.007 0.001 0.002 0.992 0.002 0.002 0.003 0.002 0.002 0.004 0.003 0 0 0 0 0 0 0.06
DI2-FGSM 0.039 0.027 0.025 0.988 0.058 0.026 0.045 0.035 0.012 0.079 0.023 0.004 0 0.009 0 0 0 0.081
MI-FGSM 0.003 0.004 0.003 0.994 0.001 0.004 0.004 0.002 0.002 0.005 0.005 0 0 0 0 0 0 0.06
TI-FGSM 0.006 0.001 0.002 0.991 0.002 0.001 0.004 0.002 0.003 0.005 0.003 0 0 0 0 0 0 0.06
MI-DI2-TI-FGSM 0.048 0.056 0.035 0.988 0.08 0.036 0.053 0.056 0.019 0.121 0.03 0.001 0.002 0.023 0 0 0 0.091
PGD 0.005 0.006 0.006 0.992 0.007 0.005 0.006 0.005 0.003 0.01 0.003 0 0 0 0 0 0 0.062
NI-FGSM 0.043 0.066 0.035 0.988 0.053 0.037 0.059 0.045 0.019 0.07 0.035 0.003 0.001 0.02 0 0 0 0.087
PI-FGSM 0.08 0.098 0.069 0.986 0.105 0.075 0.101 0.065 0.05 0.134 0.073 0.004 0.004 0.024 0 0 0 0.11
VT 0.013 0.011 0.012 0.99 0.016 0.006 0.023 0.019 0.008 0.027 0.011 0.002 0 0.005 0 0 0 0.067
RAP 0.017 0.021 0.015 0.885 0.024 0.011 0.016 0.015 0.009 0.027 0.012 0.001 0 0.006 0 0 0 0.062
SI-FGSM 0.015 0.008 0.007 0.994 0.018 0.006 0.007 0.006 0.004 0.013 0.006 0.001 0 0.001 0 0 0 0.064
Admix 0.029 0.02 0.026 0.992 0.058 0.018 0.023 0.029 0.016 0.05 0.022 0.004 0.002 0.008 0 0 0 0.076
MI-DI 0.037 0.049 0.028 0.988 0.07 0.026 0.069 0.042 0.022 0.109 0.03 0 0.002 0.015 0 0 0 0.087
MI-DI-TI-SI 0.07 0.063 0.063 0.992 0.111 0.052 0.054 0.082 0.041 0.137 0.067 0.012 0.002 0.021 0 0 0 0.104
VMI 0.02 0.01 0.016 0.982 0.018 0.012 0.015 0.018 0.006 0.028 0.006 0.001 0 0.004 0 0 0 0.067
VNI 0.108 0.138 0.109 0.988 0.15 0.087 0.117 0.115 0.054 0.187 0.087 0.018 0.004 0.049 0 0 0 0.13
SI-RAP 0.058 0.051 0.055 0.998 0.086 0.034 0.045 0.064 0.035 0.095 0.045 0.005 0.001 0.019 0 0 0 0.094
ILA_BSL 0.004 0.002 0.002 0.986 0.004 0.002 0.004 0.002 0.001 0.001 0.003 0 0 0 0 0 0 0.059
ILA 0.017 0.01 0.014 0.604 0.023 0.005 0.018 0.017 0.007 0.036 0.009 0.001 0.001 0.005 0 0 0 0.045
RD 0.011 0.011 0.008 0.997 0.019 0.009 0.02 0.013 0.005 0.017 0.006 0 0.001 0.001 0 0 0 0.066
GhostNet 0.032 0.033 0.032 0.983 0.048 0.026 0.061 0.03 0.013 0.083 0.02 0 0.001 0.012 0 0 0 0.081
LGV 0.427 0.544 0.305 0.673 0.438 0.441 0.331 0.294 0.175 0.379 0.419 0.018 0.013 0.138 0 0 0 0.27
SWA 0.107 0.165 0.065 0.985 0.154 0.061 0.155 0.084 0.035 0.189 0.069 0.001 0.003 0.044 0 0 0 0.125
Bayesian_attack 0.375 0.503 0.258 0.983 0.407 0.247 0.429 0.289 0.168 0.531 0.224 0.012 0.014 0.217 0 0 0 0.274
LGV-GhostNet 0.453 0.556 0.342 0.688 0.464 0.475 0.363 0.322 0.22 0.407 0.457 0.031 0.018 0.16 0 0 0 0.292
surrogate model=DenseNet-121
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.062 0.035 0.022 0.006 0.991 0.007 0.025 0.035 0.02 0.029 0.009 0 0.002 0.004 0 0 0 0.073
DI2-FGSM 0.441 0.337 0.289 0.132 0.987 0.167 0.25 0.358 0.218 0.34 0.191 0.017 0.007 0.083 0 0 0 0.225
MI-FGSM 0.067 0.044 0.037 0.006 0.99 0.017 0.038 0.036 0.022 0.036 0.015 0 0.001 0.003 0 0 0 0.077
TI-FGSM 0.092 0.059 0.046 0.011 0.989 0.019 0.039 0.061 0.031 0.037 0.025 0.002 0.003 0.005 0 0 0 0.083
MI-DI2-TI-FGSM 0.506 0.395 0.38 0.206 0.986 0.234 0.305 0.422 0.287 0.424 0.225 0.031 0.012 0.112 0 0 0 0.266
PGD 0.157 0.105 0.086 0.026 0.985 0.036 0.076 0.108 0.058 0.081 0.049 0 0.001 0.011 0 0 0 0.105
NI-FGSM 0.463 0.399 0.335 0.09 0.982 0.193 0.266 0.362 0.261 0.262 0.188 0.009 0.01 0.109 0 0 0 0.231
PI-FGSM 0.554 0.473 0.422 0.159 0.982 0.3 0.301 0.456 0.321 0.338 0.278 0.022 0.017 0.119 0 0 0 0.279
VT 0.279 0.215 0.168 0.055 0.985 0.088 0.132 0.218 0.14 0.174 0.1 0.008 0.007 0.041 0 0 0 0.154
RAP 0.253 0.198 0.147 0.05 0.964 0.077 0.103 0.172 0.093 0.14 0.074 0.002 0.007 0.025 0 0 0 0.136
SI-FGSM 0.175 0.106 0.102 0.041 0.989 0.048 0.068 0.13 0.073 0.092 0.051 0.001 0.003 0.015 0 0 0 0.111
Admix 0.334 0.239 0.22 0.113 0.988 0.115 0.154 0.265 0.16 0.228 0.126 0.012 0.01 0.05 0 0 0 0.177
MI-DI 0.433 0.343 0.288 0.135 0.985 0.142 0.278 0.34 0.2 0.346 0.163 0.017 0.009 0.097 0 0 0 0.222
MI-DI-TI-SI 0.588 0.445 0.486 0.356 0.984 0.325 0.324 0.525 0.387 0.509 0.306 0.085 0.021 0.163 0 0 0 0.324
VMI 0.287 0.214 0.175 0.06 0.982 0.086 0.129 0.222 0.123 0.19 0.101 0.005 0.006 0.037 0 0 0 0.154
VNI 0.55 0.474 0.438 0.202 0.981 0.291 0.293 0.451 0.354 0.379 0.293 0.041 0.023 0.137 0 0 0 0.289
SI-RAP 0.483 0.362 0.355 0.168 0.998 0.19 0.206 0.379 0.252 0.31 0.208 0.024 0.016 0.106 0 0 0 0.239
ILA_BSL 0.056 0.035 0.03 0.004 0.989 0.008 0.024 0.036 0.019 0.021 0.018 0 0.001 0.004 0 0 0 0.073
ILA 0.227 0.132 0.16 0.077 0.861 0.053 0.122 0.177 0.094 0.191 0.059 0.002 0.008 0.051 0 0 0 0.13
RD 0.179 0.119 0.07 0.011 0.985 0.038 0.1 0.105 0.067 0.069 0.045 0 0.004 0.03 0 0 0 0.107
GhostNet 0.624 0.466 0.477 0.124 0.981 0.225 0.356 0.5 0.388 0.398 0.215 0.011 0.014 0.136 0 0 0 0.289
DRA 0.786 0.609 0.715 0.571 0.919 0.741 0.524 0.701 0.642 0.606 0.738 0.465 0.131 0.364 0.002 0.003 0 0.501
SGM 0.26 0.13 0.155 0.051 0.962 0.085 0.161 0.202 0.108 0.151 0.104 0.013 0.01 0.055 0 0 0 0.144
LGV 0.861 0.743 0.748 0.32 0.949 0.621 0.568 0.716 0.651 0.581 0.615 0.07 0.04 0.301 0 0 0 0.458
SWA 0.758 0.586 0.579 0.17 0.966 0.353 0.407 0.55 0.462 0.443 0.375 0.049 0.03 0.194 0 0 0 0.348
Bayesian_attack 0.886 0.864 0.865 0.627 0.963 0.831 0.724 0.821 0.789 0.772 0.818 0.238 0.185 0.539 0 0 0 0.584
LGV-GhostNet 0.888 0.819 0.826 0.498 0.948 0.764 0.653 0.762 0.739 0.679 0.743 0.147 0.088 0.378 0 0 0 0.525
surrogate model=ViT-B/16
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0 0.001 0 0 0 0 0 0 0 0 0 1 0.001 0 0 0 0 0.059
DI2-FGSM 0.007 0.005 0.006 0.008 0.01 0.008 0.019 0.011 0.007 0.013 0.011 1 0.006 0.021 0 0 0 0.067
MI-FGSM 0 0 0 0 0 0.001 0 0 0 0 0.001 1 0 0 0 0 0 0.059
TI-FGSM 0.001 0 0 0 0 0.001 0 0 0 0 0 1 0 0 0 0 0 0.059
MI-DI2-TI-FGSM 0.012 0.01 0.012 0.015 0.024 0.019 0.029 0.021 0.007 0.038 0.031 1 0.008 0.024 0 0 0 0.074
PGD 0 0 0 0.001 0 0.002 0 0.001 0 0 0.001 1 0 0 0 0 0 0.059
NI-FGSM 0.001 0 0 0 0 0.001 0 0.001 0 0.001 0.002 1 0 0 0 0 0 0.059
PI-FGSM 0 0.004 0 0.002 0 0.004 0.002 0.001 0 0.001 0.005 0.999 0.001 0.003 0 0 0 0.06
VT 0 0 0 0 0 0.002 0 0 0 0 0 0.999 0.001 0.001 0 0 0 0.059
RAP 0 0.001 0.001 0 0.001 0.003 0.003 0.001 0.001 0.001 0.004 0.908 0.001 0.003 0 0 0 0.055
SI-FGSM 0 0.001 0 0 0 0.002 0 0 0 0.001 0.001 1 0 0 0 0 0 0.059
Admix 0 0 0 0.001 0 0.001 0 0 0 0 0 1 0 0.001 0 0 0 0.059
MI-DI 0.008 0.011 0.013 0.01 0.017 0.011 0.017 0.017 0.008 0.023 0.019 0.998 0.017 0.027 0 0 0 0.07
MI-DI-TI-SI 0.017 0.013 0.021 0.027 0.031 0.027 0.039 0.033 0.014 0.059 0.032 1 0.017 0.032 0 0 0 0.08
VMI 0 0.001 0 0 0 0 0 0.001 0 0 0.001 0.849 0.001 0.002 0 0 0 0.05
VNI 0.001 0 0 0 0.001 0 0 0.003 0.001 0.001 0.003 1 0.002 0.003 0 0 0 0.06
SI-RAP 0.004 0.004 0 0 0 0.005 0 0.002 0 0.002 0.002 0.981 0.001 0.004 0 0 0 0.059
ILA_BSL 0 0 0 0 0 0 0 0 0 0 0 0.999 0 0.001 0 0 0 0.059
ILA 0.002 0.003 0 0 0.002 0.001 0.002 0.002 0 0 0 0.301 0.003 0 0 0 0 0.019
RD 0 0 0 0 0.001 0.001 0 0.001 0 0 0.001 1 0.001 0 0 0 0 0.059
GhostNet 0.006 0.005 0 0.004 0.007 0.012 0.011 0.004 0.004 0.005 0.009 0.999 0.018 0.016 0 0 0 0.065
SGM 0.001 0 0 0 0.001 0.002 0 0 0.001 0 0.001 1 0 0.002 0 0 0 0.059
LGV 0.004 0.004 0.002 0.004 0.005 0.01 0.005 0.005 0.003 0.004 0.015 0.999 0.003 0.006 0 0 0 0.063
SWA 0 0.001 0 0.001 0.003 0.004 0.002 0.001 0 0.001 0.003 1 0.003 0.003 0 0 0 0.06
Bayesian_attack 0.001 0.001 0 0.002 0.003 0.003 0.002 0.001 0 0.002 0.006 1 0.001 0.003 0 0 0 0.06
LGV-GhostNet 0.024 0.03 0.021 0.014 0.046 0.043 0.066 0.035 0.019 0.039 0.072 0.941 0.046 0.04 0 0 0 0.084
surrogate model=ResNet-50
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.99 0.012 0.047 0 0.024 0.008 0.004 0.034 0.023 0.007 0.003 0 0 0.001 0 0 0 0.068
DI2-FGSM 0.988 0.271 0.397 0.083 0.377 0.168 0.195 0.376 0.305 0.224 0.125 0.004 0.003 0.064 0 0 0 0.211
MI-FGSM 0.99 0.015 0.046 0 0.02 0.007 0.005 0.024 0.022 0.005 0.004 0 0 0 0 0 0 0.067
TI-FGSM 0.973 0.105 0.21 0.019 0.151 0.054 0.047 0.155 0.159 0.058 0.063 0.005 0.005 0.025 0 0 0 0.119
MI-DI2-TI-FGSM 0.991 0.021 0.055 0 0.034 0.01 0.006 0.053 0.039 0.014 0.007 0 0 0 0 0 0 0.072
RD 0.985 0.285 0.387 0.08 0.362 0.174 0.218 0.401 0.321 0.241 0.138 0.005 0.003 0.07 0 0 0 0.216
PGD 0.985 0.047 0.107 0.001 0.06 0.02 0.019 0.076 0.065 0.027 0.007 0 0.001 0.004 0 0 0 0.083
NI-FGSM 0.98 0.118 0.236 0.005 0.132 0.036 0.056 0.204 0.169 0.072 0.029 0.001 0.003 0.03 0 0 0 0.122
PI-FGSM 0.964 0.124 0.238 0.006 0.125 0.06 0.047 0.189 0.161 0.045 0.041 0.004 0.003 0.015 0 0 0 0.119
VT 0.985 0.065 0.113 0.004 0.078 0.014 0.022 0.094 0.078 0.026 0.018 0 0 0.004 0 0 0 0.088
RAP 0.993 0.036 0.06 0.004 0.054 0.011 0.007 0.036 0.043 0.018 0.021 0 0.001 0 0 0 0 0.076
LinBP 0.968 0.101 0.131 0.001 0.073 0.041 0.035 0.099 0.094 0.03 0.032 0 0.002 0.005 0 0 0 0.095
SGM 0.99 0.036 0.144 0.008 0.106 0.023 0.014 0.104 0.107 0.023 0.025 0 0 0.002 0 0 0 0.093
SI-FGSM 0.982 0.202 0.457 0.048 0.345 0.111 0.091 0.344 0.349 0.125 0.093 0.002 0.001 0.025 0 0 0 0.187
Admix 0.988 0.233 0.341 0.075 0.33 0.117 0.183 0.348 0.265 0.193 0.105 0.003 0.005 0.042 0 0 0 0.19
MI-DI 0.986 0.283 0.452 0.155 0.45 0.215 0.181 0.448 0.39 0.266 0.163 0.017 0.003 0.068 0 0 0 0.24
MI-DI-TI-SI 0.265 0.094 0.148 0.115 0.18 0.234 0.064 0.136 0.126 0.073 0.199 0.062 0.013 0.043 0 0 0 0.103
DRA 0.985 0.065 0.167 0.002 0.097 0.016 0.025 0.135 0.125 0.03 0.009 0.001 0.001 0.005 0 0 0 0.098
GhostNet 0.96 0.329 0.498 0.059 0.395 0.17 0.195 0.391 0.393 0.228 0.132 0.001 0.005 0.052 0 0 0 0.224
IAA 0.984 0.006 0.023 0 0.018 0.005 0.004 0.017 0.018 0.004 0.005 0 0 0 0 0 0 0.064
LGV 0.957 0.064 0.166 0.003 0.113 0.03 0.026 0.115 0.103 0.037 0.027 0 0 0.003 0 0 0 0.097
SWA 0.882 0.483 0.814 0.1 0.662 0.4 0.23 0.654 0.755 0.308 0.33 0.007 0.01 0.094 0 0 0 0.337
Bayesian_attack 0.957 0.32 0.599 0.026 0.481 0.158 0.09 0.364 0.443 0.152 0.127 0.001 0.002 0.026 0 0 0 0.22
VMI 0.933 0.692 0.824 0.309 0.769 0.64 0.406 0.718 0.74 0.492 0.547 0.03 0.029 0.206 0 0 0 0.431
VNI 0.996 0.115 0.3 0.029 0.224 0.059 0.048 0.229 0.206 0.069 0.043 0.001 0.002 0.013 0 0 0 0.137
SI-RAP 0.894 0.545 0.826 0.143 0.709 0.465 0.309 0.708 0.786 0.364 0.386 0.014 0.009 0.131 0 0 0 0.37
LGV-GhostNet 0.984 0.048 0.112 0.001 0.06 0.015 0.021 0.08 0.075 0.02 0.011 0 0.002 0.002 0 0 0 0.084
ILA_BSL 0.976 0.117 0.243 0.018 0.154 0.063 0.044 0.188 0.167 0.067 0.054 0.003 0.004 0.02 0 0 0 0.125
ILA 0.982 0.131 0.277 0.03 0.176 0.074 0.069 0.221 0.196 0.092 0.06 0.003 0.007 0.028 0 0 0 0.138
ens_logit_I-FGSM 0.982 0.958 0.103 0.925 0.979 0.028 0.059 0.105 0.074 0.044 0.024 0.749 0 0.019 0 0 0 0.111
ens_loss_I-FGSM 0.982 0.951 0.103 0.932 0.981 0.032 0.061 0.099 0.078 0.045 0.026 0.743 0 0.021 0 0 0 0.111
ens_longitudinal_I-FGSM 0.977 0.958 0.139 0.983 0.977 0.054 0.11 0.162 0.114 0.081 0.05 0.921 0.001 0.043 0 0 0 0.133
PGN 0.979 0.635 0.785 0.149 0.715 0.433 0.501 0.747 0.719 0.478 0.376 0.018 0.021 0.145 0 0 0 0.394
SIA 0.985 0.085 0.18 0.002 0.123 0.033 0.035 0.142 0.105 0.019 0.024 0.001 0.001 0 0 0 0 0.102
CWA 0.973 0.955 0.123 0.988 0.988 0.048 0.102 0.132 0.098 0.054 0.039 0.826 0 0.009 0 0 0 0.121
AdaEA 0.984 0.953 0.123 0.987 0.985 0.045 0.087 0.14 0.096 0.068 0.028 0.244 0 0.009 0 0 0 0.122
surrogate model=VGG19-bn
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.002 0.951 0 0 0.002 0.001 0.002 0.001 0 0.008 0.002 0 0 0.003 0 0 0 0.057
PGD 0.089 0.955 0.035 0.014 0.113 0.056 0.124 0.069 0.025 0.228 0.039 0.001 0.001 0.083 0 0 0 0.108
MI-FGSM 0 0.951 0 0 0.002 0 0.003 0 0 0.004 0.002 0 0 0.003 0 0 0 0.057
NI-FGSM 0.003 0.945 0.001 0 0.003 0.002 0.006 0.002 0.001 0.023 0 0 0 0.002 0 0 0 0.058
PI-FGSM 0.016 0.949 0.004 0.001 0.011 0.009 0.014 0.007 0 0.056 0.004 0 0 0.005 0 0 0 0.063
VT 0.027 0.941 0.008 0.006 0.032 0.011 0.041 0.014 0.005 0.088 0.004 0 0 0.012 0 0 0 0.07
RAP 0.026 0.951 0.006 0.003 0.027 0.024 0.029 0.014 0.008 0.062 0.014 0 0 0.019 0 0 0 0.07
LinBP 0.041 0.926 0.018 0.015 0.042 0.033 0.024 0.027 0.012 0.063 0.015 0.001 0.002 0.023 0 0 0 0.073
DI2-FGSM 0.01 0.93 0 0.002 0.011 0.008 0.01 0.003 0.002 0.038 0.005 0 0 0.004 0 0 0 0.06
SI-FGSM 0.023 0.946 0.006 0.005 0.02 0.005 0.016 0.009 0.007 0.046 0.006 0 0 0.011 0 0 0 0.065
Admix 0.052 0.953 0.017 0.013 0.059 0.022 0.051 0.023 0.015 0.124 0.019 0 0.001 0.028 0 0 0 0.081
TI-FGSM 0.079 0.947 0.031 0.013 0.088 0.035 0.089 0.052 0.02 0.185 0.027 0 0.002 0.069 0 0 0 0.096
MI-DI 0.106 0.951 0.041 0.011 0.109 0.055 0.126 0.072 0.036 0.249 0.044 0.001 0.001 0.071 0 0 0 0.11
MI-DI-TI 0.217 0.952 0.125 0.132 0.236 0.127 0.163 0.165 0.089 0.375 0.087 0.003 0.006 0.118 0 0 0 0.164
MI-DI-TI-SI 0.041 0.915 0.021 0.013 0.044 0.027 0.035 0.029 0.015 0.066 0.02 0 0.003 0.038 0 0 0 0.075
VMI 0.046 0.896 0.024 0.022 0.051 0.027 0.039 0.035 0.014 0.066 0.026 0 0.005 0.035 0 0 0 0.076
VNI 0.054 0.95 0.021 0.015 0.061 0.024 0.035 0.024 0.012 0.13 0.012 0 0.001 0.02 0 0 0 0.08
SI-RAP 0.002 0.948 0.002 0 0.001 0.002 0.001 0.001 0 0.006 0.002 0 0 0.003 0 0 0 0.057
ILA_BSL 0.004 0.55 0.004 0 0.004 0.002 0.004 0.003 0.001 0.01 0.004 0 0 0.002 0 0 0 0.035
ILA 0 0.947 0.002 0 0.001 0.001 0.003 0.002 0.001 0.004 0 0 0 0.002 0 0 0 0.057
RD 0.01 0.933 0.002 0 0.006 0.008 0.013 0.005 0.001 0.038 0.005 0 0 0.011 0 0 0 0.061
GhostNet 0.092 0.919 0.04 0.013 0.109 0.056 0.154 0.061 0.025 0.253 0.034 0 0.003 0.085 0 0 0 0.108
DRA 0.174 0.222 0.105 0.117 0.187 0.258 0.065 0.109 0.087 0.093 0.221 0.054 0.012 0.045 0 0 0 0.103
LGV 0.209 0.692 0.108 0.087 0.255 0.208 0.15 0.111 0.101 0.235 0.17 0.001 0.006 0.083 0 0 0 0.142
SWA 0.03 0.865 0.008 0.002 0.035 0.023 0.035 0.012 0.005 0.094 0.014 0.001 0.001 0.02 0 0 0 0.067
Bayesian_attack 0.213 0.842 0.104 0.066 0.258 0.174 0.22 0.14 0.104 0.37 0.12 0.002 0.009 0.126 0 0 0 0.162
LGV-GhostNet 0.256 0.634 0.166 0.128 0.287 0.255 0.15 0.127 0.132 0.232 0.212 0.006 0.006 0.075 0 0 0 0.157
surrogate model=Inception-V3
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.001 0 0.001 0.995 0 0.001 0 0.002 0.002 0 0.002 0 0 0 0 0 0 0.059
DI2-FGSM 0.015 0.008 0.009 0.993 0.012 0.009 0.008 0.016 0.005 0.025 0.005 0 0 0.002 0 0 0 0.065
MI-FGSM 0 0.001 0.001 0.995 0.001 0.001 0 0 0 0 0.002 0 0 0 0 0 0 0.059
TI-FGSM 0.001 0.001 0.001 0.995 0.001 0.001 0 0 0.001 0.001 0.001 0 0 0 0 0 0 0.059
MI-DI2-TI-FGSM 0.002 0.003 0.003 0.993 0.001 0 0.001 0.001 0.001 0 0.001 0 0 0 0 0 0 0.059
PGD 0.016 0.013 0.009 0.99 0.011 0.007 0.009 0.009 0.009 0.026 0.008 0 0 0.002 0 0 0 0.065
NI-FGSM 0.027 0.036 0.022 0.941 0.026 0.024 0.016 0.029 0.02 0.038 0.03 0.001 0 0.009 0 0 0 0.072
PI-FGSM 0.017 0.01 0.013 0.97 0.012 0.007 0.006 0.012 0.01 0.02 0.009 0 0 0.005 0 0 0 0.064
VT 0.006 0.006 0.001 0.967 0.002 0.001 0.003 0.001 0 0.01 0.002 0 0 0 0 0 0 0.059
RAP 0.005 0.001 0.001 0.992 0 0.002 0 0.001 0.001 0.002 0.004 0 0 0 0 0 0 0.059
SI-FGSM 0.02 0.014 0.015 0.99 0.029 0.013 0.008 0.021 0.008 0.031 0.016 0 0 0.004 0 0 0 0.069
Admix 0.013 0.013 0.011 0.99 0.018 0.006 0.008 0.017 0.006 0.029 0.007 0 0 0.001 0 0 0 0.066
MI-DI 0.01 0.011 0.009 0.992 0.016 0.009 0.006 0.014 0.004 0.024 0.007 0 0 0.001 0 0 0 0.065
MI-DI-TI-SI 0.018 0.009 0.014 0.995 0.023 0.012 0.002 0.017 0.008 0.024 0.008 0 0 0.002 0 0 0 0.067
VMI 0.013 0.009 0.009 0.977 0.014 0.006 0.004 0.008 0.008 0.017 0.008 0 0 0.002 0 0 0 0.063
VNI 0.023 0.019 0.021 0.983 0.021 0.012 0.014 0.023 0.014 0.04 0.018 0.001 0.001 0.008 0 0 0 0.07
SI-RAP 0.005 0.006 0.003 0.997 0.004 0.004 0.001 0.005 0.003 0.003 0.004 0 0 0.001 0 0 0 0.061
ILA_BSL 0.034 0.032 0.027 0.982 0.035 0.019 0.025 0.033 0.017 0.06 0.016 0 0 0.01 0 0 0 0.076
ILA 0 0 0.001 0.984 0 0.002 0 0.001 0.001 0 0.001 0 0 0 0 0 0 0.058
RD 0.005 0.003 0.004 0.6 0.002 0.005 0.001 0.003 0.003 0.003 0.006 0 0 0 0 0 0 0.037
GhostNet 0.008 0.006 0.007 0.967 0.006 0.009 0.001 0.006 0.004 0.008 0.007 0 0 0.002 0 0 0 0.061
LGV 0.287 0.408 0.217 0.464 0.272 0.332 0.124 0.173 0.129 0.209 0.293 0.003 0.001 0.054 0 0 0 0.174
SWA 0.057 0.101 0.032 0.97 0.045 0.039 0.041 0.035 0.014 0.059 0.03 0.001 0 0.009 0 0 0 0.084
Bayesian_attack 0.278 0.407 0.184 0.984 0.236 0.18 0.187 0.21 0.113 0.319 0.152 0.001 0.005 0.087 0 0 0 0.197
LGV-GhostNet 0.334 0.433 0.249 0.487 0.312 0.378 0.147 0.195 0.154 0.233 0.32 0.007 0.003 0.049 0 0 0 0.194
surrogate model=DenseNet-121
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0.022 0.012 0.007 0 0.991 0.003 0.005 0.013 0.008 0.004 0.008 0 0 0.002 0 0 0 0.063
DI2-FGSM 0.255 0.178 0.138 0.059 0.987 0.085 0.109 0.182 0.091 0.173 0.077 0.002 0.003 0.027 0 0 0 0.139
MI-FGSM 0.016 0.012 0.005 0 0.991 0.003 0.003 0.012 0.005 0.004 0.005 0 0 0.002 0 0 0 0.062
TI-FGSM 0.024 0.021 0.014 0 0.989 0.003 0.007 0.021 0.006 0.011 0.006 0 0 0 0 0 0 0.065
MI-DI2-TI-FGSM 0.069 0.041 0.024 0.002 0.988 0.01 0.011 0.037 0.016 0.021 0.014 0 0.001 0.002 0 0 0 0.073
PGD 0.15 0.134 0.079 0.009 0.986 0.037 0.052 0.118 0.057 0.093 0.039 0.001 0.001 0.025 0 0 0 0.105
NI-FGSM 0.221 0.186 0.151 0.023 0.965 0.096 0.073 0.143 0.094 0.1 0.081 0.002 0.003 0.039 0 0 0 0.128
PI-FGSM 0.156 0.116 0.106 0.04 0.975 0.063 0.041 0.12 0.073 0.089 0.07 0.003 0.006 0.036 0 0 0 0.111
VT 0.093 0.061 0.03 0.002 0.987 0.013 0.02 0.049 0.025 0.034 0.016 0 0.001 0.005 0 0 0 0.079
RAP 0.073 0.041 0.033 0.01 0.99 0.014 0.01 0.041 0.02 0.019 0.011 0 0 0.004 0 0 0 0.074
SI-FGSM 0.28 0.196 0.16 0.049 0.987 0.091 0.075 0.201 0.137 0.118 0.084 0.003 0.002 0.025 0 0 0 0.142
Admix 0.202 0.158 0.13 0.039 0.986 0.055 0.097 0.16 0.088 0.144 0.054 0.001 0.002 0.027 0 0 0 0.126
MI-DI 0.224 0.177 0.144 0.044 0.983 0.076 0.083 0.183 0.095 0.161 0.072 0.001 0.001 0.03 0 0 0 0.134
MI-DI-TI-SI 0.265 0.178 0.184 0.097 0.985 0.104 0.081 0.221 0.127 0.168 0.091 0.005 0.002 0.034 0 0 0 0.15
VMI 0.179 0.125 0.11 0.034 0.983 0.063 0.056 0.133 0.076 0.103 0.063 0.001 0.003 0.031 0 0 0 0.115
VNI 0.219 0.155 0.143 0.046 0.981 0.095 0.082 0.158 0.098 0.127 0.082 0.006 0.01 0.04 0 0 0 0.132
SI-RAP 0.178 0.113 0.092 0.035 0.998 0.041 0.042 0.101 0.071 0.078 0.036 0.001 0.001 0.012 0 0 0 0.106
ILA_BSL 0.096 0.059 0.042 0.002 0.965 0.029 0.034 0.063 0.037 0.04 0.027 0 0 0.01 0 0 0 0.083
ILA 0.009 0.003 0.003 0 0.988 0.002 0.002 0.009 0.004 0.004 0.002 0 0 0.001 0 0 0 0.06
RD 0.126 0.077 0.074 0.015 0.894 0.025 0.039 0.06 0.043 0.062 0.022 0 0 0.007 0 0 0 0.085
GhostNet 0.11 0.075 0.055 0.004 0.982 0.018 0.033 0.07 0.033 0.034 0.021 0 0.001 0.01 0 0 0 0.085
DRA 0.519 0.383 0.372 0.073 0.982 0.18 0.183 0.376 0.311 0.275 0.147 0.007 0.007 0.084 0 0 0 0.229
SGM 0.258 0.151 0.201 0.136 0.396 0.261 0.089 0.202 0.155 0.108 0.232 0.078 0.014 0.049 0 0 0 0.137
LGV 0.752 0.618 0.602 0.174 0.944 0.483 0.278 0.554 0.493 0.389 0.441 0.013 0.008 0.13 0 0 0 0.346
SWA 0.495 0.357 0.275 0.044 0.962 0.148 0.115 0.267 0.222 0.184 0.151 0.004 0.005 0.047 0 0 0 0.193
Bayesian_attack 0.749 0.654 0.658 0.335 0.925 0.579 0.369 0.601 0.552 0.45 0.535 0.06 0.057 0.223 0 0 0 0.397
LGV-GhostNet 0.76 0.678 0.642 0.305 0.925 0.604 0.363 0.589 0.557 0.457 0.569 0.043 0.025 0.182 0 0 0 0.394
surrogate model=ViT-B/16
Target Model  → ResNet-50 VGG19-bn ResNet-152 Inception-V3 DenseNet-121 MobileNet-V2 SENet-154 ResNeXt-101 WRN-101 PNASNet MNASNet ViT-B/16 Swin-B ConvNeXt-B ResNet-50(AT) Swin-B(AT) ConvNeXt-B(AT)
Blackbox  Attack↓ ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR ASR mean
I-FGSM 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0.059
DI2-FGSM 0.004 0.002 0.002 0.003 0.003 0.008 0.008 0.012 0.004 0.012 0.012 1 0.003 0.005 0 0 0 0.063
MI-FGSM 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0.059
TI-FGSM 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0.059
MI-DI2-TI-FGSM 0 0 0 0 0 0 0 0 0 0 0.001 1 0 0 0 0 0 0.059
PGD 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0.059
NI-FGSM 0 0 0 0 0.002 0.001 0.001 0.004 0.001 0.001 0.003 0.988 0 0.002 0 0 0 0.059
PI-FGSM 0 0 0 0 0 0.001 0 0 0 0 0 0.931 0.001 0 0 0 0 0.055
VT 0.001 0 0 0 0 0.001 0 0.001 0 0 0 0.853 0 0 0 0 0 0.05
RAP 0 0 0 0 0 0 0 0 0 0 0 1 0 0.001 0 0 0 0.059
SI-FGSM 0 0 0 0 0 0.001 0 0 0 0 0.001 1 0 0 0 0 0 0.059
Admix 0.004 0.003 0 0.001 0.005 0.005 0.004 0.006 0.006 0.019 0.009 0.997 0.005 0.008 0 0 0 0.063
MI-DI 0.006 0.005 0.002 0.003 0.008 0.004 0.004 0.007 0.004 0.021 0.009 1 0 0.009 0 0 0 0.064
MI-DI-TI-SI 0.01 0.01 0.006 0.006 0.015 0.011 0.012 0.015 0.013 0.029 0.018 1 0.006 0.017 0 0 0 0.069
VMI 0 0 0 0 0 0.002 0.001 0 0 0 0 0.756 0.001 0 0 0 0 0.045
VNI 0 0 0 0 0 0 0.001 0 0 0 0 0.819 0.001 0 0 0 0 0.048
SI-RAP 0 0 0.001 0.001 0 0.001 0.001 0.001 0.001 0 0.001 0.98 0.001 0.001 0 0 0 0.058
ILA_BSL 0.001 0.002 0.001 0.001 0.002 0.006 0.001 0.002 0 0.001 0.004 0.995 0.011 0.003 0 0 0 0.061
ILA 0 0 0 0 0 0 0 0 0 0 0 0.984 0 0 0 0 0 0.058
RD 0 0 0 0 0 0 0 0 0 0 0 0.21 0 0 0 0 0 0.012
GhostNet 0 0 0 0 0 0.001 0 0 0 0 0 0.997 0 0 0 0 0 0.059
SGM 0 0 0 0 0 0.001 0 0 0 0 0 1 0 0 0 0 0 0.059
LGV 0.001 0.004 0.003 0 0.002 0.004 0.002 0.005 0.002 0.001 0.003 0.975 0 0.004 0 0 0 0.059
SWA 0 0 0 0 0 0 0 0.002 0 0 0 1 0 0 0 0 0 0.059
Bayesian_attack 0 0 0.001 0.001 0 0 0 0.002 0 0.001 0 1 0 0 0 0 0 0.059
LGV-GhostNet 0.008 0.009 0.005 0.004 0.009 0.021 0.007 0.016 0.003 0.017 0.024 0.621 0.012 0.013 0 0 0 0.045



Model  → ResNet-50 VGG19-bn Inception-V3 ConvNeXt-B ViT-B/16 AT model(robust library) AT model(FastAT) RND AAA-Linear AAA-Sine
Blackbox  Attack↓ average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR
Parsimonious(ECO) 350.3 213 1 337.7 207 1 853.2 258 0.973 347.3 217 0.991 583.5 419 0.932 1440.6 646 0.8 1374.2 901 0.842 2423.5 1765 0.465 272.8 74 0.339 128.4 69 0.318
Square Attack 76.8 14 1 38.4 2 1 208.3 28 0.996 65.1 11 1 212.2 108 1 1109 143 0.841 693.8 108 0.842 95.6 23 0.894 45.3 6 0.451 24.2 3 0.412
PPBA attack 261.7 237 0.997 234.3 221 0.998 478.3 311 0.983 253.5 242 0.994 443 266 0.976 1276.2 434 0.852 1143.7 774 0.851 298.2 245 0.886 67.3 14 0.287 42.6 8 0.265
NES 631.3 30 0.401 756.5 60 0.51 844 60 0.317 　 　 0 　 　 0 2113.4 1500 0.714 2578.8 1560 0.727 3084.5 1745 0.763 278.2 10 0.214 243.2 8 0.188
Bandit 368.5 32 0.988 343.8 32 0.989 903.1 142 0.95 476.3 44 0.974 678.3 126 0.932 1091.5 402 0.584 1700.5 612 0.643 789.4 567 0.453 217.4 4 0.701 274.3 4 0.689
ZOsign-SGD 786.8 62 0.392 679.4 58 0.498 1316.7 671 0.896 894.7 79 0.361 983.4 243 0.363 1688.7 1037 0.875 1956.3 1152 0.897 2266.6 1243 0.645 443.3 42 0.387 487.7 42 0.379
Advflow 1424.3 475 0.99 1187.4 248 1 1874.2 890 0.972 1564.8 532 0.989 1642.2 776 0.973 1874.7 1193 0.802 1794.3 977 0.823 2743.5 1672 0.731 542.6 89 0.742 498.5 94 0.713
SignHunter 312.3 91 1 196.4 71 1 569.1 103 0.987 403.6 179 1 587.8 314 1 1522.7 258 0.811 1520.9 199 0.722 665.7 323 0.745 197.3 2 0.728 498.5 2 0.698
NP-attack 287.2 64 1 256.4 58 1 496.3 79 0.974 357.2 144 1 547 278 1 1373.9 242 0.823 1243.7 177 0.742 579.3 296 0.774 185.4 4 0.754 154.2 4 0.723
Subspace   Attack 499.2 286 1 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　
CG-attack 178.3 1 1 128.7 1 0.999 169.6 1 1 324.9 12 0.997 1034.7 485 0.584 1187.3 561 0.561 687.3 1 0.947 　 　 　 　 　 　
MCG 38.1 1 1 57.9 1 1 47.6 1 1 69.4 12 1 634.6 96 0.956 698.2 103 0.948 165.7 1 0.962 　 　 　 　 　 　
BASES 424 221 1 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　
PRGF 278 68 1 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　
Model  → ResNet-50 VGG19-bn Inception-V3 ConvNeXt-B ViT-B/16 AT model(robust library) AT model(FastAT) RND AAA-Linear AAA-Sine
Blackbox  Attack↓ average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR
SimBA 1234.5 1120 0.686 1048.5 873 0.713 2077.4 1398 0.805 1678.3 1424 0.698 1942.1 1742 0.544 2638.2 2081 0.349 2183.2 1934.5 0.401 1235.6 1120 0.644 978.5 754 0.583 842.5 723 0.567
Square Attack 612.1 174 0.99 573.4 168 0.992 1107.1 310 0.89 579.4 183 0.964 984.7 384 0.823 1404.3 330 0.472 1593.5 392 0.483 345.5 133 0.447 578.2 144 0.402 532.3 125 0.386
PPBA attack 489.2 110 0.976 424.3 102 0.978 974.2 290 0.904 469.2 104 0.968 834.4 223 0.792 1245.4 234 0.498 1165 189 0.462 519.6 104 0.679 387.4 92 0.458 362.5 92 0.451
NES 1335.2 1020 0.966 1289.4 943 0.966 2048.6 1200 0.744 1649.7 1376 0.969 2042.5 1343 0.726 2365.1 1620 0.218 2194.3 1320 0.261 2023.5 1200 0.5 1278.3 879 0.345 1169.3 795 0.329
Bandit 856.5 512 1 687.5 423 1 1327.2 636 0.912 892.7 674 0.989 1634.3 873 0.789 2769.2 1756 0.456 2434.8 1673 0.502 889.6 565 0.654 752.4 385 0.442 724.2 324 0.431
ZOsign-SGD 843.3 549 0.464 764.3 523 0.562 1642.6 1240 0.735 1325.3 588 0.427 1435.2 944 0.411 639.3 610 0.082 765.3 876 0.101 2134.7 145.6 0.355 685.6 422 0.248 623.5 394 0.232
Advflow 1567.3 784 0.979 1378.4 677 0.98 2348.4 944 0.892 1742.8 907 0.966 1843.3 897 0.954 3649.3 1457 0.564 2875.7 1554.1 0.582 2575.2 952 0.676 1242.5 653 0.492 1145.6 569 0.473
NP-attack 984.2 432 1 784.3 396 1 1425.3 762 0.907 1243.2 587 0.975 1324.4 657 0.962 2403.2 842 0.581 1917.4 1046.2 0.604 1891.5 548 0.685 853.6 356 0.512 753.4 334 0.488
BABIES 1435.3 1320.2 0.931 1378.2 1183 0.94 2459.3 1594 0.938 1542.3 1398 0.922 2334.2 1654 0.894 3367.2 2452 0.547 2658.8 2480.3 0.588 2475.3 1753 0.516 1245.2 1056.6 0.486 1145.6 879.6 0.473
Subspace   Attack 431 227 1 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　
BASES 358 187 1 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　
PRGF 267 54 1 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　 　
Model  → ResNet-50 VGG19-bn Inception-V3 ConvNeXt-B ViT-B/16 AT model(robust library) AT model(FastAT) RND AAA-Linear AAA-Sine
Blackbox  Attack↓ average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR
Parsimonious(ECO) 6946.7 4536 1 5897.2 3887 1 7076 5053 1 8456.5 4942 0.974 10324.8 5421 0.882 30456.4 14566 0.854 31245.3 15334 0.861 32176 25053 0.532 5874.2 3487 0.493 4475.5 3376 0.476
Square Attack 4184.5 2784 1 3678.4 2452 1 4584.8 2859 1 4567.3 2874 0.981 9423.2 4928 0.899 21345.5 9865 0.852 22135.2 10334 0.875 23447.7 21345 0.786 3789.4 2434 0.774 3175.4 2149 0.762
PPBA attack 10872.5 6792 1 8097.3 5439 1 13423.7 8744 0.966 12232.2 7423 0.981 14234.6 8919 0.895 19524.7 12425 0.858 16894.9 9842 0.864 25436.3 14542 0.764 8975.2 5742 0.742 7542.2 5642 0.736
NES 28776.5 18334 0.885 27892.2 17899 0.889 33456.1 17665 0.795 31842.7 19423 0.834 33421.6 20452 0.748 32345.6 23460 0.556 36549.4 24598 0.602 33567.1 21454 0.68 24524.1 16534 0.642 18542.5 14236 0.621
Bandit 22454.7 16721 0.935 21894.7 14524 0.935 26789.3 18067 0.926 26723.8 17284 0.902 29423.5 18454 0.792 32134.5 30235 0.475 35233.4 29104 0.575 57894 35567 0.545 19856.2 13452 0.514 18673.3 12448 0.497
ZOsign-SGD 17640.5 8546 0.502 14298.4 7997 0.549 27984.6 13456 0.634 21452.2 11232 0.483 21423.6 16534 0.411 35673.2 24565 0.512 32122.4 26754 0.564 38746.5 20989 0.54 14542.8 6542 0.498 13245.2 5986 0.464
Advflow 23675.2 9237 0.929 21349.8 7692 0.937 24249.6 15239 0.883 24985.5 10442 0.911 26523.9 18423 0.887 31693.8 21424 0.676 32459.2 20485 0.712 42345.5 17582 0.748 18653.4 7653 0.675 17212.8 6978 0.653
SignHunter 8345.6 4788 1 6872.7 4421 1 8814.7 5481 0.987 9423.4 5873 0.986 13424.2 9423 0.901 14578.4 11342 0.833 29876.5 13443 0.865 23454.6 18081 0.79 7423.2 3224 0.724 6894.3 3116 0.687
NP-attack 14788.6 8745 0.976 12792.6 7424 0.981 20459.7 9450 0.952 16332.7 9421 0.978 23342.8 12425 0.923 26423.4 13067 0.694 27534.2 14231 0.871 35452.1 15682 0.783 12495.4 7584 0.694 11452.8 6755 0.675
CG-attack 6598.2 4382 0.985 5824.6 3847 0.986 7898.3 5132 0.976 7423.8 5274 0.984 9843.2 5422 0.941 9134.8 6116 0.713 9423.2 6449 0.759 13254.5 8952 0.815 5876.7 3985 0.784 5158.2 3214 0.767
MCG 3345.1 2678 1 2748.3 2124 1 3785.4 2674 1 4022.6 2843 1 5423.2 2934 0.953 4876.4 3681 0.887 5842 3942 0.896 7924.5 4557 0.867 2957.6 2455 0.845 2542.6 2352 0.833
Model  → ResNet-50 VGG19-bn Inception-V3 ConvNeXt-B ViT-B/16 AT model(robust library) AT model(FastAT) RND AAA-Linear AAA-Sine
Blackbox  Attack↓ average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR
SimBA 19887.4 11235 0.652 17324.5 10482 0.683 23425.3 12347 0.604 22498.3 14232 0.624 28423.9 18434 0.587 21093.6 13446 0.076 21886.7 12345 0.121 39085.5 27644 0.442 18456.2 9745 0.323 17842.2 8423 0.379
Square Attack 18944.3 14556 0.721 15342.7 13243 0.752 19884.3 15946.4 0.665 19047.3 11425 0.703 26743.8 17423 0.623 20448.4 13442 0.124 22010.2 11990 0.162 45875.6 38755 0.503 16534.2 12336 0.245 16985.4 13124 0.232
PPBA attack 15789.8 13872 0.737 12398.2 11989 0.759 18742.5 13246.9 0.641 16352.8 13374 0.729 20424.6 16842 0.612 16342.2 14233 0.138 17542.4 15232 0.149 34523.9 29452 0.492 14324.1 11424 0.266 13498.2 10456 0.254
NES 21094.4 12114 0.633 19873.9 12039 0.676 18544.2 13268 0.574 28493.4 16245 0.593 34252.4 22434 0.532 100000 100000 0 100000 100000 0 54234.2 32368 0.342 24365.4 10452 0.158 27953.3 10434 0.147
Bandit 22367.8 15443 0.782 18742.4 13279 0.803 21345.6 16589 0.745 29842.3 17849 0.762 32495.1 20242 0.718 22670.4 15443 0.113 24553.4 14877 0.141 40984.5 37645 0.622 20438.2 13453 0.298 19443.2 13221 0.284
ZOsign-SGD 19993.4 12234.5 0.504 21493.6 11425 0.567 19875.4 13453 0.435 23495.7 16722 0.463 24254.8 18423 0.407 　 　 0 　 　 0 54878.3 34453 0.323 14523.6 11424 0.113 13953.4 10788 0.101
Advflow 25673.9 11748 0.792 23797.4 10942 0.812 33942.7 18242 0.768 28475.8 14289 0.776 29843.7 20324 0.733 26584.2 16424 0.159 27984.2 15425 0.198 68492.4 43241 0.694 26423.5 13242 0.334 25439.2 12443 0.312
NP-attack 18428.9 9786 0.811 16589.3 8642 0.82 22384.2 11894 0.774 20481.7 12742 0.798 25423.2 15232 0.752 18235.2 10231 0.147 19425 13241 0.21 44256.7 21424 0.651 14234.9 7688 0.275 13459.2 7456 0.268
BABIES 22873.6 17453 0.823 20587.1 16231 0.831 29344.8 19242 0.807 25423.6 15243 0.801 28425.4 18423 0.781 24234 18423 0.135 25623.4 14523 0.165 53245.1 19524 0.717 19534.4 14232 0.317 17934.2 15632 0.298




Model  → ResNet-50 VGG19-bn Inception-V3 ConvNeXt-B ViT-B/16 AT model(robust library) AT model(FastAT) RND
Blackbox  Attack↓ average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR
GeoDA 754 121 0.44 953 232 0.56 816 239 0.25 1044 235 0.13 1367 242 0.21 3123.5 1863 0.42 3087.5 1853 0.47 2345.6 1443 0.34
Sign Flip 1489 654 0.97 1533 771 0.97 1677 791 0.96 1781 788 0.94 1877 731 0.92 2478.5 1755 0.69 2254.2 1355 0.71 2675.6 1265 0.79
Rays 1160 606 0.98 941 467 0.99 1319 617 0.94 2154 1497 0.95 2219 1421 0.93 2245.6 1465 0.66 2134.6 1547 0.72 2987.6 1675 0.76
OPT 2548 2023 0.21 2478 2011 0.23 2236 1978 0.17 2332 1956 0.13 2571 2004 0.13 0 0 0
Sign-OPT 3127 2467 0.31 3231 2689 0.59 2446 1589 0.1 2024 1333 0.17 1444 961 0.16 0 0 0
HSJA 3371 1874 0.86 3142 1655 0.86 2945 1644 0.82 3643 1942 0.78 4232 2148 0.76 0 0 18574.4 8752 0.39
QEBA method 2455 1976 0.92 1987 976 0.92 2434 1356 0.91 2687 1789 0.82 2501 1519 0.83 2425 1564 0.61 2804 1694 0.63 14524.6 6434 0.51
Nonlinear-BA 2684 1421 0.91 2076 1034 0.91 2547 1489 0.9 2742 1865 0.84 2741 1722 0.84 2688 1742 0.61 2988 1776 0.64 13567.4 6237 0.52
PSBA 2114 1551 0.92 1966 956 0.92 2398 1402 0.91 2579 1741 0.85 2485 1512 0.84 2513 1504 0.62 2856 1684 0.64 12546.3 5981 0.59
CISA 1784 978 0.95 1678 763 0.95 1874 1016 0.92 2042 1266 0.92 2247 1489 0.89 2138 1336 0.65 2342 1448 0.68 11878.6 4138 0.63
Model  → ResNet-50 VGG19-bn Inception-V3 ConvNeXt-B ViT-B/16 AT model(robust library) AT model(FastAT) RND
Blackbox  Attack↓ average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR
Boundary method 2348 435 0.1 2655 465 0.13 2267 339 0.04 2761 561 0.03 2551 481 0.03 0 0 0
Evolutionary method 2209 610 0.24 2588 891 0.31 2157 598 0.21 2613 690 0.17 2711 704 0.17 0 0 0
GeoDA 1346 724 0.6 1543 881 0.68 1474 612 0.6 1671 803 0.54 1621 743 0.52 1876.4 1087 0.32 1985.4 1125 0.35 18756.6 7894 0.21
OPT 1656 1237 0.18 1981 1441 0.24 1787 1323 0.21 1789 1311 0.16 1688 1214 0.16 0 0 0
Sign-OPT 2235 1498 0.41 2411 1771 0.58 2019 1598 0.37 2313 1761 0.31 2218 1652 0.3 3476.5 2245 0.11 3214.6 2323 0.18 0
HSJA 3125 2135 0.81 2877 1141 0.84 3340 2550 0.79 3677 2510 0.77 3578 2611 0.75 3246.5 2534 0.46 3546.7 2344 0.48 23456.8 10875 0.35
QEBA method 2411 1423 0.88 2118 981 0.88 2561 1571 0.86 2871 1760 0.82 2591 1566 0.82 2518 1501 0.57 2987 1608 0.59 22564 9891 0.44
Nonlinear-BA 2844 1688 0.89 2371 1121 0.88 2611 1421 0.85 3175 2099 0.84 2891 1966 0.83 2898 1756 0.55 3086 1824 0.58 23698 10042 0.44
PSBA 2333 1542 0.91 2187 871 0.89 2419 1498 0.88 2689 1890 0.85 2481 1487 0.84 2411 1597 0.57 2876 1544 0.59 22784 9722 0.44
Triangle Attack 2298 1397 0.89 2087 761 0.88 2357 1241 0.85 2498 1411 0.84 2713 1471 0.83 2341 1450 0.54 2678 1312 0.6 21446 9342 0.46
CISA 1986 1159 1 1749 832 1 2178 1375 0.99 2274 1376 0.99 2414 1369 0.98 2026 1148 0.59 2257 1198 0.63 18772 7898 0.49
Model  → ResNet-50 VGG19-bn Inception-V3 ConvNeXt-B ViT-B/16 AT model(robust library) AT model(FastAT) RND
Blackbox  Attack↓ average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR
GeoDA 23098.6 15639 0.93 27498 14879 0.93 25635.6 14336 0.9 28799 16457 0.88 29842 17451 0.82 28634.3 15604 0.42 27984.5 14335 0.47 48756.7 34234 0.75
Sign Flip 21873.5 16072 1 25776 15783 1 22367.8 14554 1 23788 16452 0.98 24877 18423 0.94 24504 18765 0.71 23456.5 19065 0.75 43456.5 29465 0.79
Rays 19876.4 13497 1 22348 12441 1 21010.4 12908 1 24882 14787 0.98 25877 16232 0.94 22456.4 14587 0.76 22087.5 15349 0.79 48764.5 26219 0.82
OPT 50893.5 48734 0.04 53349 46322 0.05 0 0 0 0 0 0
Sign-OPT 43567.8 42459 0.15 46245 40667 0.16 46334.5 43987 0.02 52789 47231 0.02 58432 49337 0.02 0 0 0
HSJA 41256.6 36875 0.59 44768 33472 0.82 42387.6 32456 0.79 49342 37884 0.64 52344 40232 0.6 37584.9 29874 0.28 36446.5 27653 0.33 60987.5 45564 0.32
QEBA method 28341 21765 0.72 31521 19843 0.89 34231 22387 0.86 36988 25682 0.82 37878 26981 0.78 22345 16023 0.42 28766 22468 0.43 38799 28436 0.55
Nonlinear-BA 29765 23412 0.81 33942 22877 0.88 35312 24578 0.86 38431 26574 0.79 40214 27245 0.74 24547 17842 0.4 30923 25743 0.42 39212 30447 0.53
PSBA 28976 21324 0.88 33124 20378 0.89 33786 21697 0.87 34349 25422 0.84 38749 27144 0.79 23468 16422 0.42 29856 23242 0.44 37687 27864 0.56
CISA 24588 19764 0.9 25687 178944 0.89 26982 19866 0.87 32214 24214 0.86 35688 24524 0.8 20988 14227 0.43 24322 18342 0.45 32445 21546 0.58
Model  → ResNet-50 VGG19-bn Inception-V3 ConvNeXt-B ViT-B/16 AT model(robust library) AT model(FastAT) RND
Blackbox  Attack↓ average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR average number medium number ASR
Boundary method 65445 57344 0.12 73334 52134 0.16 74753.9 66748 0.03 78998 72113 0.02 80988 72341 0.02 0 0 0
Evolutionary method 23243 19844 0.09 27713 18651 0.11 25456.8 15854 0.04 27644 17864 0.03 39443 17842 0.03 0 0 0
GeoDA 35657.5 30346 0.54 38671 29764 0.57 42135.6 29856 0.48 44356 32414 0.44 47892 33412 0.36 52457.6 42456 0.29 48974.6 38596 0.3 48974.6 45316 0.21
OPT 59854 53225 0.11 63781 52124 0.15 0 0 0 0 0 0
Sign-OPT 60143.4 55096 0.22 62231 52112 0.24 59807.6 54347 0.13 67423 67374 0.1 72422 68832 0.08 0 0 0
HSJA 58946.4 56467 0.74 61472 52138 0.76 59684.5 53567 0.63 69841 65322 0.57 69344 64523 0.51 60984.5 53556 0.35 58946.4 58764 0.4 74946.4 67632 0.22
QEBA method 42487 34531 0.85 46552 33785 0.85 44891 34788 0.78 50234 43122 0.73 53327 46233 0.67 45788 42334 0.41 48982 42762 0.45 56788 43523 0.43
Nonlinear-BA 48325 35662 0.83 49766 37331 0.83 49877 36752 0.77 56431 45348 0.7 57344 48792 0.65 48791 46897 0.39 49214 47243 0.42 58742 46228 0.4
PSBA 41664 33236 0.85 45167 34132 0.86 43991 35781 0.79 49923 42921 0.74 54421 45932 0.69 44791 42114 0.43 48723 43322 0.47 56384 44311 0.44
Triangle Attack 39441 29341 0.85 42699 29142 0.85 40341 34788 0.78 43451 39841 0.72 47423 41245 0.67 42312 38422 0.41 44234 41754 0.45 54244 40128 0.42
CISA 36224 26344 0.86 39875 27442 0.86 36533 26553 0.79 38556 29762 0.74 42112 34852 0.7 39226 31744 0.45 38729 32344 0.48 48864 39878 0.45

If you would like to report your results here, please follow instructions at Google Form to make a submission. The results will be posted after we check the model validity (expect to take about a week).