新商品の営業資料をつくっていて、「○○大学の研究で効果が確認されています」という一文を入れたくなる。素材メーカーから受け取った論文が手元に1本あり、結果もポジティブ。資料の説得力は上がりそうです。
ところが商談の場で、相手の技術担当者からこう聞かれたらどうでしょうか。
「その試験は、どんな条件でやったものですか？ほかの研究ではどうなっていますか？」
・・・そんなこと聞くやついないよって？しかしまさに私が開発にいるときに、新素材を導入する際の決め手となったのが上記質問への返答でした。
これが答えられると、営業の仕方も変わるのではないでしょうか。先ほどの質問をあえて引き出して、それにきちんと答えることで信用を得る、という競合とは違う商談も可能になります。
反対に、答えに詰まると資料全体の信用を下げることになってしまいます。論文情報の取り扱いには気を付けなければなりませんね。
1本の論文ではなく、その分野の研究全体で語ることを、決まった手順で整理する方法がシステマティックレビュー（SR）です。手法そのものについてはシステマティックレビューとは？で詳しく書きました。
この記事では、その考え方を企業の現場でどう使うのかについて論じていきます。前半では、エビデンスが経営判断に役立った事例から入り、営業資料、広告表示の裏付け、商品開発、新規事業の判断という場面ごとに使い方を紹介します。後半では、実際に進めるときの手順と、eSTEM PLUSでの進め方をまとめました。
エビデンスは経営判断にも生かすことができる強力な武器
手始めに、エビデンスが持つ力を実感していただくため、経営判断に生かした事例から紹介します。
実は、経営にエビデンスを活用するという方法論が存在します。（※我々が勝手に唱えている概念ではないです）
エビデンスベースドマネジメント（Evidence-Based Management）と呼ばれる考え方で、これを体系化しているCEBMa（Center for Evidence-Based Management）は、判断の際に次の4つの情報源を突き合わせるべきだとしています。
- 学術研究の知見
- 組織のデータ（売上、顧客満足度、離職率など）
- 実務家の経験と判断
- 意思決定の影響を受ける関係者の価値観や懸念
SRが担うのは、このうち学術研究の部分だけです。経験や社内データを置き換えるものではなく、それらと突き合わせる材料だと考えてください。
CEBMaの資料には、経験と研究を突き合わせた事例が紹介されています。
カナダのある大手法律事務所が、近くの小さな事務所との合併を計画していました。両者の組織文化は大きく異なり、合併を経験したパートナーたちは「文化の違いは深刻な衝突を招く」と口をそろえます。そこでデータベースを調べたところ、46の研究、合計10,710件のM&Aを統合したメタアナリシスが見つかりました。
結果は、文化の違いが統合の成果とマイナスの関係にあることを確かに示していました。ただし、それは統合の度合いが高い場合に限った話で、統合を限定的にとどめる場合には、むしろプラスの関係が見られたのです。この合併はバックオフィスだけを統合する計画だったため、うまくいく見込みはむしろ高いと判断できました。
簡単にまとめると以下の通りです。
| 文化の違いが小さい | 文化の違いが大きい | |
|---|---|---|
| 統合の度合いが高い （業務・組織まで一体化する） | 文化の違いによる影響は小さい | 統合の成果が下がりやすい |
| 統合の度合いが低い （バックオフィスのみ等、限定的に統合する） | 文化の違いによる影響は小さい | 成果がむしろ上がりやすい |
※ 研究は文化の違いを連続量として扱っており、「大・小」の境目が決まっているわけではありません。「小さい」列は、関係の向きから読み取った整理です。国の文化の違いを対象にした別の研究（オランダ企業による102件の海外買収）でも、同じ向きの結果が報告されています。
感覚的には、文化の違いがあればマイナスに働くか、何らかの化学反応でプラスに働くか、と経験則で考えてしまうのではないでしょうか。パートナーたちの経験は間違ってなかったのですが、条件によっては結論がひっくり返ってしまうことまでは、経験だけでは分からなかったところです。
エビデンスから紐解くと、自信を持って進めることができます。これこそが研究を見る価値だと考えています。
SRからビジネスに借りたいのは、この「研究全体を、条件まで含めて見る」というやり方です。ここからは、場面ごとの使い方を見ていきます。
営業資料：主張ごとに「言える強さ」を分ける
営業資料でよく起きるのは、性質の違う主張がひとつの文章に溶けてしまうことです。
工場向けの殺菌剤を例にすると、「殺菌成分が入っている」「実験データでその商品に殺菌効果が認められている」「だから顧客の現場で同等の効果が見込まれる」は、それぞれ別の主張です。1つ目は配合の事実、2つ目は試験データで示せますが、3つ目は実際の現場での検証がなければ言えません。
そこで、主張ごとに言える強さを分けておきます。
| 段階 | 根拠の状態 | 資料での扱い |
|---|---|---|
| 強く言える | 複数の研究で、条件をまたいで結果が一貫している | 本文で言い切り、出典を添える |
| 条件付きで言える | 研究はあるが、対象や条件が限定されている | 条件を明記したうえで書く |
| 言えない | 研究がない、結果が割れている、条件が自社と違う | 資料には書かない |
段階が分かれていると、営業担当者が「どこまで言ってよいか」を自分で判断できます。根拠を聞かれたときも、どの研究のどの条件に基づく話なのかをすぐに答えられます。
また、「言えない」の段階は資料には出しませんが、社内では共有しておきます。
質問されたときに「現時点では確認できていません」と答えられる担当者のほうが、何を聞かれても「できます」と答える担当者より、技術に詳しい相手とは長く付き合えると我々は見ています。
研究の条件と、実運用の条件は同じか
段階分けでいちばん効くのは、「その研究の条件は、自社の顧客や使い方と同じか」という問いです。
エビデンスの確実性を評価する国際的な枠組みであるGRADEアプローチでは、これを非直接性（Indirectness）と呼び、確実性を下げる要因のひとつにしています。研究の対象や条件が、本当に知りたいことからずれている状態のことです。
先ほどの殺菌剤でいえば、試験で使った菌の種類、濃度、接触時間、汚れの量が、顧客の現場とどこまで近いかという話になります。試験の結果そのものは正しくても、条件が違えば「顧客の現場で同等の効果」とまでは言えません。
このような根拠のずれは一見分かりにくいため、BtoBでは「先方の決裁段階になって有識者に突っ込まれペンディングする」なんてことになってしまいます。
研究の条件を自社の条件と並べて書いておけば、それだけで資料の適用範囲がはっきりします。
広告表示：不実証広告規制への備えにする
消費者向けの商品では、エビデンスの整理がそのまま景品表示法への備えになります。
景品表示法には不実証広告規制という仕組みがあります。
指針によれば、提出資料が合理的な根拠と認められるには、次の2つを満たす必要があります。
- 提出資料が客観的に実証された内容のものであること
- 表示された効果・性能と、資料によって実証された内容が適切に対応していること
2つ目は、営業資料の章で触れた「研究の条件と実運用の条件は同じか」という問いと同じです。指針には分かりやすい例が載っています。
家屋内の害虫を駆除できると表示した家庭用の機器について、公的機関の試験結果が提出されました。ところがその試験は、アクリルケースの中で、機器の電磁波に害虫が一時的に回避行動を取ることを確認しただけのもので、人が普段暮らす環境での駆除効果を示すものではありませんでした。試験そのものは客観的でも、表示との対応が取れていないため、根拠とは認められていません。
同じ指針には、紫外線を99%カットすると表示した衣料について、提出された学術文献が示していたのは50%の遮断だった、という例もあります。
学術文献を根拠にする場合について、指針は、その文献が「当該専門分野において一般的に認められているもの」である必要があるとしています。特定の専門家の特異な見解では、客観的に実証されたとは認められません。
論文を1本添えただけでは、それが分野の多数派の知見なのか、少数の特異な結果なのかは読み手に伝わりません。どの範囲を調べ、何を採用して何を除外したのかを説明できる状態は、この点を説明する材料になると考えています。
なお、資料の提出期限は、求められた日から原則15日後とされています。延長の申出はできますが、新たな試験や追加の調査を行う必要があるという理由は、正当な事由とは認められないと指針に明記されています。求められてから根拠を探し始めても間に合わない、という前提で考えておいたほうが安全です。
念のため補足すると、SRの手順で整理したからといって、それだけで合理的な根拠と認められるわけではありません。指針自体、個別の事案ごとに判断するとしています。法的な判断は弁護士などの専門家と一緒に行う領域で、エビデンスの整理はその判断材料を用意する役割です。
また、景品表示法は一般消費者に向けた表示を対象とする法律なので、BtoBの取引資料にはそのまま当てはまらない場面もあります。
ただ、自社の素材や技術が取引先の消費者向け商品に使われ、その広告で効果をうたうなら、根拠を求められるのは取引先ですし、商品に使われなくても社内決裁で根拠を求められる場面は多々あります。
指針には、販売業者が自ら試験をしていなくても、製造業者の試験データの存在や客観性を確認したことを示す書面を根拠として提出できる、という記載もあります。上流の企業が整理された根拠を持っていることは、取引先にとっての安心材料になります。
表示の裏付けという観点からの整理は、広告の「合理的根拠」とは？で詳しく扱っています。
商品開発：研究の「空白」から次の一手を考える
既存研究の分布を眺めると、どこが調べ尽くされていて、どこが手つかずなのかが見えてきます。
学術の世界ではエビデンス・ギャップマップという手法で、どの領域にどれだけの根拠があるかを調査したりします。
注意したいのは、ギャップマップが示すのは「どんな研究があるか」であって、「研究が何と言っているか」ではない点です。マスが埋まっていても、効果があったのかなかったのかは、中身を見ないと分かりません。
企業にとって、空白はリスクであると同時に機会でもあります。例えば、ある技術の省エネ性能については研究が積み上がっているのに、特定の運用条件での耐久性はほとんど検証されていない。そこが見えれば、競合がまだ根拠を持っていない領域で先に検証を進める、という判断ができます。
ただ、空白には「誰もまだ調べていない空白」と、「調べたものの期待した結果が出ず、公表されなかった空白」の2つがあると考えています。後者は出版バイアスと呼ばれるもので、見分けがつきません。空白を見つけてすぐに「チャンス！」と飛びつく前に、この可能性は頭に置いておく必要があります。
研究がない領域では、小さく試して結果を記録していくしかありません。CEBMaの資料も、質の高いエビデンスがない場合には試験的に実施し、その結果を体系的に評価することを勧めています。自社で試験を行う場合も、先に文献で空白の位置を確認しておくと、何を測るべきかが定まります。（このあたりは「臨床試験の前に文献で分かること」で詳しく書きました。）
ちなみに、出版バイアスと同じ構造は社内にもあります。共有されるのは成功した施策で、打ち切ったテストや期待外れだった試作は記録に残りにくい。すると、社内に蓄積される情報は楽観的なほうへ傾いていきます。
失敗した検証の記録は、次に同じテーマを検討する人にとって貴重な「陰性結果」です。結果の良し悪しではなく、検証して記録を残したこと自体を評価する仕組みがあってよいと考えています。
新規事業・技術導入：判断の前に根拠をそろえておく
ここまでは、自社の商品を「説明する側」、どちらかというと営業の話でした。新しい技術を導入する、新しい事業に踏み出すといった場面でのエビデンス活用についても触れておきましょう。
設備の導入を検討する側からすれば、カタログの性能値がどの稼働条件、どの処理量で得られたものかは真っ先に確認したい点です。排水処理の設備投資に関わってきた立場から見ても、ここが曖昧な資料は比較検討の土台に乗せにくいと感じます。営業資料の章で見た「研究の条件と実運用の条件は同じか」という問いは、そのまま導入判断のチェック項目になります。
新規事業の判断では、冒頭の4つの情報源の考え方が効いてきます。社内の経験や市場のデータだけで判断すると、法律事務所の例のように、条件によって結論が変わる部分が見えません。研究全体を見ておくと、「どの条件なら成り立つのか」を事前に絞り込めます。
「経営判断はスピードが命なので、エビデンスを調べている時間はない」という声もあると思います。
CEBMaの資料は、この考えは誤解としています。その場で即決しなければならないような判断はあくまで例外で、多くの経営判断は数週間から数か月かけて行われます。法務や財務、戦略面の検討にも時間がかかるので、根拠を確かめる余裕は十分にあることが多い、というものです。
同じ資料には、緊急着陸の例も出てきます。パイロットは数秒で判断しますが、その判断を支えているのは、あらかじめ整備された緊急時の手順と、信頼できる計器です。判断が速い場面ほど、根拠は事前に準備されていなければならないという好例です。これは分かりやすいですね。
実際に進めるときの手順
ここまで場面ごとの使い方を見てきました。どの場面でも、進め方の骨格は共通しています。
簡単に言うと、「主張を決めてから、それが立つかどうかを調べる」という順番です。調べながら主張を作ると、たまたま見つかった都合の良い研究に主張が引っ張られます。探す前に何を確かめたいのかを決め、都合の悪い結果も含めて集め、研究の条件まで見たうえで、結論がどれくらい確からしいかを示す。まさにこれこそがSRの特徴です。
実務で特に大事になるのは、最初の問いの立て方と、時間が限られるときの割り切り方の2点です。
「言いたいこと」を検証できる問いに分解する
商品やサービスのエビデンスを整理するときに最初に行うのは、その商品について言いたいことを明確化することです。言いたいことは一つでも複数でも構いません。
そのうえで、ひとつひとつを検証できる問いに分解します。SRでは「誰に、何を、何と比べて、どうなるか」という形まで絞り込みます。
例えば、ある排水処理技術について「排水がきれいになる」と言いたいとします。このままでは調べようがないので、以下のように分解していきます。
- どんな排水が対象か（食品工場の排水か、化学工場の排水か）
- 何が減るのか（有機物か、窒素か、リンか）
- 何と比べるのか（従来の活性汚泥法か、処理なしか）
- どの規模で確認されたのか（実験室か、パイロット設備か、実機か）
ここまで分解すると、「実験室レベルでは有機物の除去が確認されているが、実機規模での長期運転データは見当たらない」といった形で、エビデンスを集めなければいけない要素が分かってきます。何を探すかが決まっているので、むやみやたらと調べまくるということも無くなります。
私自身、清涼飲料の商品開発で、商品の表現を成立させるための根拠を検討する仕事に携わっていました。
表現の案が先に固まり、エビデンスを後から探しにいく順番になると、見つけたエビデンスに合わせて表現を削ることになったり、逆にエビデンスの範囲を超えた表現が残ったりします。エビデンス調査を先にする、あるいは開発と調査の担当が細かくコミュニケーションをとる体制を作るだけで、この手戻りは減らせます。
期限のある判断では、何を省いたかを残す
「そこまでやる時間はない」という声はもっともです。
学術的なSRには時間がかかります。国際的なSRの登録簿PROSPEROに登録された医療分野のSR195件を分析した研究では、完了して公表されるまでの期間は平均67.3週、著者数は平均5人でした。1年以上、複数人で取り組む作業です。
ビジネスの判断はそこまで待てません。学術の側もこの問題には向き合っていて、コクランのラピッドレビュー方法論グループは、時間制約のある意思決定のためのガイダンスを公表しています。
簡略化には代償があります。文献の選別（スクリーニング）を1人で行う場合と2人で行う場合を比べたランダム化比較試験では、1人だと関連する研究の13%を見落とし、2人では3%でした。
※見落としが最終的な結論を変えたかどうかは不明。
eSTEM PLUSの「ビジネス版システマティックレビュー」
eSTEM PLUSでは、ここまで紹介した考え方をベースに、企業が判断に使える形へ翻訳する調査を行っています。これを「ビジネス版システマティックレビュー」と呼んでいます。
ご依頼を受けた際、最初に行うのは前の章で紹介した問いの分解です。どの用途を対象にするのか。何に対する効果を確認したいのか。どの条件の研究まで含めるのか。ここを依頼元と一緒に決めてから、検索に入ります。
集まった研究は、例えば次のような区分に整理されます。
- 比較的根拠がそろっている領域
- 研究はあるが、条件が限定されている領域
- 研究間で結果が一貫していない領域
- 現時点では十分な根拠を確認できない領域
ここまでは、まだ調査の段階です。私たちが力を入れているのはこの先で、この区分を、営業資料でどこまで書けるか、商品・サービスのどこを強みとして設計するか、追加の検証をするならどこから手をつけるか、という判断の形に置き換えていきます。
検索式や採用・除外の基準も記録に残しています。新しい研究が出て見直すときは、初回よりずっと軽い作業で済みます。
学術的なSRとの違いは、以下の通りです。
| 学術的なSR | ビジネス版SR | |
|---|---|---|
| 目的 | 研究疑問に答え、論文として公表する | 事業上の判断材料をつくる |
| 期間 | 1年以上かかることも珍しくない | 判断の期限に合わせて設計する |
| 検索範囲 | 複数のデータベース、未公表研究まで、言語の制限なく探す | 目的と期限に応じて範囲を決め、その範囲を明示する |
| 手順の簡略化 | 原則として行わない | 簡略化した箇所を明示する |
| 成果物 | 論文 | 言える範囲・言えない範囲と、次に行う検証の整理 |
学術版と同じ網羅性を保証するものではありませんが、何を調べ、何を省いたのかを明示したうえで、判断に使える形でお渡しします。
あわせて、整理したエビデンスをもとにした営業資料の作成も承っています。
まとめ
冒頭の「○○大学の研究で効果が確認されています」という文言についてですが、正直なところ、この表現自体は使用しても問題ないものです。
問題になるのは、その裏に論文が1本しかなく、ほかの研究がどう言っているのか、その研究の条件が自社と同じなのかを、誰も確認していない場合です。どこまで調べ、何を採用して何を除外したのかを説明できるようにする手順として、SRの流れに則るという方法をお伝えしました。
営業資料では主張ごとに言える強さを分け、広告表示では表示と根拠の対応を確かめ、商品開発では研究の空白を見て、新規事業では判断の前に根拠をそろえておく。場面は違っても、主張を先に決めてから調べ、都合の悪い研究も含めて見て、研究の条件と自社の条件を比べ、省いた手順は隠さないという順番は同じです。
そして、整理の結果「ここはまだ言えない」と分かることも、立派な成果です。言えない部分が分かれば次に検証すべきことが決まり、それがそのまま商品開発や新規事業の判断材料になります。
自社商品のエビデンスを整理したい。営業資料や広告表示の根拠が、どこまで通用するのか確認したい。新しい技術や事業の妥当性を、研究全体から判断したい。
eSTEM PLUSでは、こうしたご相談を承っています。広告表示に関わる法的な確認が必要な場合は、弁護士と協働して対応します。まずは「何が言えて、何が言えないのか」を切り分けるところからお手伝いしますので、お気軽にお問い合わせください。
参考情報・参考文献
エビデンスに基づく経営判断について
- Barends E, Rousseau DM, Briner RB. Evidence-Based Management: The Basic Principles. Amsterdam: Center for Evidence-Based Management; 2014. 意思決定で突き合わせる4つの情報源、法律事務所の合併とメタアナリシスの事例、質の高いエビデンスがない場合の試験的実施、「時間がないからエビデンスは使えない」という誤解 https://cebma.org/assets/Uploads/Evidence-Based-Practice-The-Basic-Principles.pdf
- Stahl GK, Voigt A. Do cultural differences matter in mergers and acquisitions? A tentative model and meta-analytic examination. Organization Science. 2008;19(1):160-176. 法律事務所の事例で参照されたメタアナリシス（46研究・10,710件のM&A）。文化の違いが社会文化的統合、シナジーの実現、株主価値に異なる向きで影響し、その影響は関連性の程度などで変わる doi:10.1287/orsc.1070.0270
- Slangen AHL. National cultural distance and initial foreign acquisition performance: The moderating effect of integration. Journal of World Business. 2006;41(2):161-170. オランダ企業による102件の海外買収。国の文化の違いが大きい場合、統合が強いと成果が下がり、統合が限定的だと成果が上がる doi:10.1016/j.jwb.2006.01.003
確実性の評価について
- Cochrane Handbook for Systematic Reviews of Interventions, Chapter 14: Completing ‘Summary of findings’ tables and grading the certainty of the evidence GRADEアプローチで確実性を下げる要因のひとつとしての非直接性（Indirectness） https://www.cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-14
広告表示の裏付けについて
- 消費者庁「不実証広告規制」 不実証広告規制の概要、第7条第2項（措置命令との関係でみなし）・第8条第3項（課徴金納付命令との関係で推定）、合理的な根拠の2要件 https://www.caa.go.jp/policies/policy/representation/fair_labeling/representation_regulation/misleading_representation/not_demonstrated_ad
- 公正取引委員会「不当景品類及び不当表示防止法第7条第2項の運用指針―不実証広告規制に関する指針―」（平成15年10月28日、一部改正 平成28年4月1日 消費者庁） 専門家の見解・学術文献が「当該専門分野において一般的に認められているもの」である必要、表示と実証内容の対応に関する例（害虫駆除器、紫外線遮断素材）、販売業者による製造業者データの確認、提出期限が原則15日であることと延長の正当事由、個別事案ごとの判断 https://www.caa.go.jp/policies/policy/representation/fair_labeling/guideline/pdf/100121premiums_34.pdf
研究の空白の可視化について
- Campbell Collaboration — Evidence and gap maps (EGMs) エビデンス・ギャップマップの構成（行に介入、列に成果）、「どんな証拠があるか」を示し「証拠が何と言っているか」は示さないこと、研究の優先順位づけへの活用 https://www.campbellcollaboration.org/evidence-gap-maps.html
時間の制約と簡略化について
- Borah R, Brown AW, Capers PL, Kaiser KA. Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry. BMJ Open. 2017;7(2):e012545. PROSPERO登録の完了済みSR195件で、公表までの平均期間67.3週、平均著者数5人 doi:10.1136/bmjopen-2016-012545
- Garritty C, Gartlehner G, Nussbaumer-Streit B, et al. Cochrane Rapid Reviews Methods Group offers evidence-informed guidance to conduct rapid reviews. Journal of Clinical Epidemiology. 2021;130:13-22. 時間制約のある意思決定に向けたラピッドレビューの方法論ガイダンス doi:10.1016/j.jclinepi.2020.10.007
- Gartlehner G, Affengruber L, Titscher V, et al. Single-reviewer abstract screening missed 13 percent of relevant studies: a crowd-based, randomized controlled trial. Journal of Clinical Epidemiology. 2020;121:20-28. 1人でのスクリーニングは関連研究の13%、2人では3%を見落とした。見落としが結論に与えた影響は未評価 doi:10.1016/j.jclinepi.2020.01.005
ビジネス版SRを作成する
サービスに関するご相談は、こちらよりお問い合わせください。
コメント