メタ最適化 - 百科事典

数値最適化からのメタ最適化は、別の最適化方法を調整するための最適化方法の使用です。メタ最適化は、遺伝的アルゴリズムの最適なパラメータ設定を見つけるために、1970年代後半にMercerとSampsonによって使用されたと報告されています。

メタ最適化および関連概念は、メタ進化、スーパーオプティマイゼーション、自動パラメータ調整、ハイパーヘューリスティックスなど、文献でも知られています。


準拠

遺伝的アルゴリズムや微分進化などの最適化方法には、その行動や効率を支配する多くのパラメータがあり、これらのパラメータは実行者によって選択されなければなりません。行動パラメータを選択することは、最適化がよく機能するための要素についての人間の誤解が多く発生しやすい、煩雑なタスクです。

最適化者の行動パラメータは変えられ、最適化パフォーマンスはランドスケープとしてプロットできます。これは行動パラメータが少ない最適化者や計算が速い最適化問題に対して計算可能ですが、行動パラメータの数が増えると、そのパフォーマンスランドスケープの計算時間が指数関数的に増加します。これは、最適化者の行動パラメータからなる検索空間の次元の罠です。したがって、行動パラメータの空間を効率的に検索する方法が必要です。


方法

最適化者の良い行動パラメータを見つける簡単な方法は、メタ最適化者と呼ばれる別のオーバーレイ最適化者を用いることです。行動パラメータが実値か离散値か、どのパフォーマンス指標を使用するかなどによって異なる方法があります。

遺伝的アルゴリズムのパラメータのメタ最適化は、GrefenstetteとKeaneらによって行われました。また、Bäckもパラメータと遺伝的操作の両方のメタ最適化の実験を報告しました。COMPLEX-RFアルゴリズムのメタ最適化は、KrusとAnderssonによって行われました。さらに、情報理論に基づく最適化の性能指標が導入され、さらに発展させられました。粒子群最適化のメタ最適化は、Meissnerら、PedersenとChipperfield、Masonらによって行われました。PedersenとChipperfieldは、微分進化にメタ最適化を適用しました。Birattariらはアリ群最適化をメタ最適化しました。統計モデルも使用されて、行動パラメータの選択と最適化パフォーマンスの関係についてより多くのことを明らかにしました（例えば、FrancoisとLavergne、NannenとEiben）。さまざまなメタ最適化技術の比較は、SmitとEibenによって行われました。


参考文献
自動機械学習（AutoML）
ハイパーヘューリスティックス