Comment faire un script pour les benchmarks [Oleg]?

[LoshkinOleg]

Mes benchmarks fonctionnent enfin mais les resultats varient beaucoup d'une execution à l'autre.
Je veux donc faire un tool sur linux pour:

1. Generer un dossier pour les outputs .csv des bench.
2. Remplir ce dossier avec X itérations de benchmarks, nombre que je pourrais spécifier.
3. Faire un output .csv final en fesant la moyenne des benchmarks.

J'ai compris coment rattacher un script .sh avant le lancement du test via Edit Configurations... ou on peux spécifier un script à lancer APRES avoir buildé l'executable et AVANT de lançer l'executable.

J'ai compris comment spécifier à google benchmark de faire un output file avec --benchmark_out=filename et --benchmark_out_format=csv .

Je n'ai pas compris comment je peux faire en sorte d'executer un script externe (un average_the_results.py par ex) APRES l'execution du bench.

Je n'ai pas compris comment nommer les fichiers spécifiés dans --benchmark_out=filename de manière dynamique (par ex: --benchmark_out=$(date)).csv ).

Je n'ai pas compris comment je pourrais re-lancer le meme benchmark X fois au lieu d'une seule.

Si je pouvais avoir de l'aide sur ces trois derniers points, ce serait cool!
Merci.

[EliasFarhan]

J'avais fait des scripts shell pour automatiser ce genre de chose, pour lancer depuis le terminal (pas depuis CLion). Par contre, fais les benchmarks Windows en dehors de Visual Studio, parce que le debugger de VS ralentit la heap allocation ce qui peut fausser les banchmarks.

[LoshkinOleg]

Tu parles bien de bench_graph.sh et bench_perf.sh?

Si c'est le cas, tu peux me rappeler la commande à entrer pour les executer correctement, j'avais déja posé la question en cours mais j'arrive plus à retrouver mes notes dessus...
Là au moins je metterai ta réponse sur le wiki directement.

Et le debuggeur de Windows ne me pose pas soucis vu que je peux pas lancer le projet avec Visual Studio 2019 x)

[EliasFarhan]

Bench graph est le script le plus intéressant parce que il utilise le deuxième argument comme le programme à exécuter et le troisième argument optionnel est la regex que tu peux utiliser pour filtrer les benchmarks. ./bench_graph.sh bench_matrix par exemple. Le langage shell est un peu spécial, tu peux aussi faire un script python pour ça.