CAT GETTING OUT OF A BAG

What the tester is thinking.

テスト脳を鍛える

ある処理の応答時間を計測し、何秒以内だったら Pass/Fail を判定するようなテストケース、ありますよね。
最近、わたしたちのチームでこんなことが起きました。期待している時間内に応答が返ってきたので、テスト結果は ”Pass” になったのですが、合否判定係りから「計測結果がやけに早すぎるから、念のためもう一度計測してみてください」と物言いがつき、取り直し(再テスト)になったのです。

電子計算機の世界に居りますと「応答時間は早ければ早いほど良い」と思いがちではないでしょうか。でも、早すぎてお客様をドキドキさせてしまうことがあるかもしれないし*1、他の処理と待ち合わせしてるようなものですと、早いほうが待ちきれずタイムアウトしてしまい、その結果やりたいことが出来ない、なんてことが起きるかもしれない。そういった問題(処理が早すぎる)ではなく、テスターが実施したテスト(手順やデータや環境)が間違っていて”早い結果が出てしまう”可能性もありますね。今回の場合は、それ(テスト手順の間違い)でした。

では、より間違いにくいテスト手順に書き直して、テストしたとしましょう。さて、応答時間が同じように早かった場合に、テスターは(あれ?おかしいかも?)と気づけるのでしょうか。「よし、3秒以内に返ってきたからOK!」となってしまい、気づけないかもしれませんね。それならば、判定基準に「何秒以上」の記載を追加すればよいのではないか、となるのかもしれません。

ところで、わたしたちが開発している製品は、お客様に何を提供するものであるのか、お客様に使っていただく前に、この製品をテストする者に求められている感知力、想像力は、どの程度であるべきなのでしょうか。そのようなことを考えていますと、なんでもかんでもテストケースに書いておけばいい、そんな単純なことではないのかもしれないなぁと思うのです。まあ、書いてあれば確かに気づけることもありますので、そういった意味では書いておいたほうがいいのでしょうけど、書いたことで安心してしまい、テスターとしての嗅覚が鈍ってしまうのではないか。それがとても心配です。

今回の物言いの件は、わたしたちが毎日行っている『テストの朝会』で話題になりましたので、テスター全員が知っています。ですから今後、特に計測するようなテストを行うときは、今回のことを思い出し「早すぎないかな?」という観点でも見ることができるようになるかもしれない。テストケースだって絶対正しいとは限らないのだから「自分が今やってるテストは本当にやりたいテストになっているのかな?」と、テストそのものや、自分自身を疑うことができるようになるかもしれない。

いま起きているホットな問題をみんなで話し、みんなでちょっと考えてみる。1日1つでいいと思います。時間にしたら5分もかかりません。わたしが(あなたが)気づいた問題や心配ごとを隣のテスターに話すのです。そういった表には見えづらい地味な日々の活動に、わたし自身のテスト脳は鍛えられているような気がします。

*1:切符の自販機や銀行ATMの音声ガイドが苦手です。早く選んで!早く入れて!早く取って!と急かされているような気持ちになってしまい、いつもドキドキしている。