lighthouse-ci-actionの設定の見直し

[sasaplus1]

#179 の修正が反映されるまでlighthouseでのaccessibilityのscoreが100点未満だったはずだが、CIで検出されなかったので調査をする。

[sasaplus1]

ローカルで実行してみたところ以下のような出力となった：

$ npx @lhci/cli autorun
✅  .lighthouseci/ directory writable
✅  Configuration file found
✅  Chrome installation found
Healthcheck passed!

Started a web server on port 58389...
Running Lighthouse 3 time(s) on http://localhost:58389/
Run #1...done.
Run #2...done.
Run #3...done.
Running Lighthouse 3 time(s) on http://localhost:58389/1/1/1/
Run #1...done.
Run #2...done.
Run #3...done.
...
Done running Lighthouse!

Checking assertions against 54 URL(s), 162 total run(s)

1 result(s) for http://localhost:58389/1/3/5/ :

  ✘  categories.accessibility failure for minScore assertion
       Audit did not produce a value at all. "minScore" might not be a valid assertion for this audit.

        expected: >=0.9
           found: NaN
      all values: NaN, NaN, NaN

1 result(s) for http://localhost:58389/2/1/2/ :

  ✘  categories.accessibility failure for minScore assertion
       Audit did not produce a value at all. "minScore" might not be a valid assertion for this audit.

        expected: >=0.9
           found: NaN
      all values: NaN, NaN, NaN

1 result(s) for http://localhost:58389/3/1/5/ :

  ✘  categories.accessibility failure for minScore assertion
        expected: >=0.9
           found: 0.82
      all values: 0.82, 0.82, 0.82

All results processed!

Done running autorun.

• ローカルでは3ページほど1.0未満のページが存在している
  • exit codeは0だった
• NaNが取得されている

[herablog]

そういえば別件で試した時も、アクセシビリティチェックだけNaN が出たので、調査後回しにしてました。(ﾁｮｯﾄ困っている)

[tokimari]

最新の実行結果だと大丈夫そう・・？？
https://github.com/openameba/a11y-guidelines/actions/runs/5864668029/job/15900120524#step:7:133

[sasaplus1]

何かバグだったんですかね……？直ったのなら閉じますかね（調査はしておいた方が良いとは思うけど……😅）。

[sasaplus1]

うーん、簡単にlighthouse-ci-actionとlighthouse-ciのissueを検索してみたけどそのものズバリみたいなのはなさそう。