ソフトウェア開発の現場で見えた生成AI活用のために重要なこと

昨今の生成AIの進歩を受け、私たちも開発スピードの向上を目標として、開発業務に生成AIを取り入れることにしました。

導入にあたり、私たちの過去の開発業務を分析しました。その結果、特にコードの実装と動作確認が多くの時間を占めていることがわかりました。

これまでコードの実装は、生成AIに相談しながら人間が記述する形で進めていました。そこで、開発者が仕様を生成AIに与えてコードを一から生成させることで、開発にかかる時間を削減することにしました。

動作確認は、主に手動テストで行っていました。実装したコードが正しく動作するかを人手でひとつひとつ確認する必要があり、多くの時間を要していました。一部の動作確認は自動テストによって行っていましたが、その作成にはある程度時間がかかっていました。そこで、生成AIに手動テストの内容を自動テストに置き換えさせることで、必要な時間を削減することを考えました。

生成AIの利用にあたっては、意図した成果物を安定して生成できるよう、様々な工夫を行いました。仕様書を生成AIが読みやすいフォーマットに修正したり、プロンプトを整備したりして指示方法を統一することで、誰が利用しても一定の品質でコードやテストを生成できる環境を整えました。さらに、実際に利用する中でも、より品質の高い成果物を生成できるよう、仕様書のフォーマットやプロンプトの改善を継続的に行いました。

ここまでの試行錯誤によって、採用可能なコードやテストを短い時間で生成できるようになり、開発スピードも確実に向上していきました。そのため、私たちは当初の目的を達成できそうだと感じていました。

その一方で、私たちはひとつの違和感に気づきました。生成AIによって作成されたコードを、同じく生成AIによって作成されたテストで検証し、そのテストが通過していることを根拠に品質を判断しているという点です。そのテストは本当に妥当なのでしょうか。コードは本当に期待通りに動作しているのでしょうか。この構造の問題に気づいたことで、私たちは生成されたコードに対して不安を感じるようになりました。

なぜこのような不安を感じるのでしょうか。それは、生成AIが作成した自動テストは、動作確認として不十分だからです。

私たちは、テストによって動作確認を行っています。コードレビューの際、主にテストの結果に基づいて機能コードの正しさを判断しています。なぜなら、テストを実行した結果こそが、機能コードの振る舞いを示すものだからです。つまり、試験項目を確認することで、実装が要件を満たしているかを判断できます。

このことから、動作確認には、網羅性（正常系や異常系、境界値のケースなどの様々なケースを試験できること）や妥当性（試験自体に誤りがなく、正しく試験できること）が大切です。

しかしながら、生成AIが作成した自動テストは、網羅性や妥当性を誰にも評価されないまま使用されています。つまり、自動テストの結果が機能コードの振る舞いを正しく示しているとは言えません。そのため、自動テストに基づいて機能コードが想定通りに動くかどうかを確認すると不安に感じます。

この不安を解消するには、網羅性や妥当性の評価を行うことが有効であると考えられます。

考えられるアプローチのひとつに、コードを作成した生成AIとは異なるモデルを使ってテストケースを確認する方法があります。異なるモデルを用いることで、元のモデルの盲点を見つけられる可能性があります。しかし、この方法は不安の根本的な解消にはつながりません。なぜなら、生成AIの評価自体が、品質の根拠にならないからです。自動テストの網羅性や妥当性は、最終的には人間が確認すべきものであり、生成AIの評価結果はその代わりにはなり得ません。

別のアプローチとして、生成AIが作成した自動テストを人手で評価する方法があります。このアプローチを実際に行ったところ、網羅性や妥当性が十分かどうかを判断し、不安を解消するためには多くの時間を要しました。その要因として、網羅性が十分かどうかを判断するためには、関連する他のファイルをひとつひとつ参照して、テストケースに観点の漏れがないかどうかを確認する必要がありました。妥当性が十分かどうかを判断するためには、テストが正しく動作しているかどうかを追うために機能コードも確認する必要がありました。結果として、開発スピードは以前と同程度になり、生成AIを活用して効率化しようとした意味が薄れてしまうとわかりました。

つまり、生成AIが作成した自動テストを動作確認として使用するためには、テストケースの網羅性と妥当性を生成AIや人手に頼ることなく評価するアプローチが必要になります。

新たなアプローチを模索する中、私たちはミューテーションテストという手法に目をつけました。ミューテーションテストとは、機能コードに条件分岐や定数などのバグを模した小さな変更（ミュータント）を埋め込み、テストがその異常を検知できるかどうかを確認することで、テスト自体の品質を評価する仕組みです。

ミューテーションテストでは、まず最初に、機能コードへミュータントを埋め込みます。次に、変更された機能コードに対して、自動テストを実行します。テストが失敗するようになれば、妥当なテストであると言えます。一方、テストが成功のままであると、テストケースに欠如や誤りがあると言えます。

さらに、ミューテーションテストには、ツールが存在します。これを使用すると、人手に頼ることなく、機能コード全体に対して多数のミュータントを一定のルールに沿って埋め込むことができます。その結果、テストの抜け漏れを機械的に検出できます。

以上のことから、生成AIで作成した自動テストにミューテーションテストを組み合わせることで、テストケースの網羅性と妥当性を生成AIや人手に頼ることなく評価できるようになると考えました。