On the statistical performance of Hierarchical Bayes MNL conjoint models: findings from simulation studies

Hein, Maren GND

Choice-Based Conjoint (CBC) analysis is nowadays by far the most widely used method for exploring consumer preferences. Because choice data provides less information than rankings- or ratings-based conjoint data, a serious limitation in previous applications of CBC analysis was that preferences could not be estimated at the individual, but only at the aggregate or segment level. The revolution occurred with the availability of Hierarchical Bayes (HB) estimation procedures. The application of HB methods nowadays allows the estimation of reliable individual-level part-worth utilities so that it is possible to recover respondents’ heterogeneous preferences. The focus of the present thesis is on CBC analysis using HB for the estimation of part-worth utilities. In particular, three extensive simulation studies are conducted in order to systematically explore the statistical performance of HB-CBC models. The performance of HB-CBC is evaluated under experimentally varying conditions using statistical criteria for goodness-of-fit, parameter recovery, and predictive accuracy. In the first part, the main focus lies on the detailed analysis if there exists a limit for parameter settings in CBC studies. In particular, the question is how many attributes, how few respondents, or how few choice tasks per respondent can be considered in a CBC model in order to ensure still good estimation and prediction results. The results show that for simple CBC settings HB estimation proves to be quite robust. The study provides evidence that holding other factors at convenient levels far more attributes than previously suggested in the relevant literature can be used in CBC studies. From a managerial point of view, our findings further show that the sample size and/or the number of choice tasks could be held quite small, thereby enabling cost savings or preventing respondent fatigue. However, the results also indicate that the HB model is starting to “collapse” if two of the three factors (number of attributes, number of choice tasks, number of respondents) are set to extreme levels simultaneously and the CBC design is already complex with regard to other factors. The second part deals with the application of HB-CBC for predicting consumer preferences. In order to predict which products respondents would choose in a (hypothetical) market scenario, different choice rules can be used that relate respondents’ utilities to expected individual choice probabilities. Those choice probabilities can be aggregated across respondents to obtain the share of respondents who prefer one product compared to other competing items. As each choice rule has its pros and cons, choice share predictions can differ depending on the applied choice rule and may lead to wrong managerial decisions. Thus, the second study wants to shed more light on the question which choice rule should be used in order to predict preference shares as accurate as possible. The findings clearly suggest the superiority of HB draws combined with first choice simulations that lead to the lowest prediction errors across all choice rules considered. So far, the simulation studies are conducted by using default prior settings for HB estimation. The third part goes beyond the standard HB prior settings and presents a simulation study to substantially contribute to the question how HB prior settings (the prior variance and the prior degrees of freedom) affect the performance of HB-CBC models. The results indicate that the prior degrees of freedom play a negligible role as there is not any noticeable impact on the performance of HB when varying that factor. For increasing prior variance levels overfitting problems occur with respect to parameter recovery and model fit. The most striking finding however is that the predictive performance of HB-CBC is not markedly affected by an increase of the prior variance.

Die Choice-Based Conjoint-Analyse (CBC) ist heutzutage die am häufigsten eingesetzte Methode zur Erforschung von Konsumentenpräferenzen. Da Wahldaten über einen geringeren Informationsgehalt als ranking- oder ratingbasierte Conjoint-Daten verfügen, beschränkten sich frühere Anwendungen der CBC auf segmentspezifische oder vollständig aggregierte Präferenzanalysen. Dies änderte sich mit dem Einsatz von Hierarchisch Bayesianischen (HB) Schätzverfahren. Die Anwendung der HB-Methodik erlaubt heutzutage die Schätzung relativ stabiler (pseudo)individueller Teilnutzenwerte, sodass Heterogenität in den Präferenzen von Konsumenten aufgedeckt werden kann. Im Mittelpunkt der vorliegenden Dissertation steht die CBC-Analyse, wobei HB-Techniken zur Schätzung der Teilnutzenwerte verwendet werden. Es werden drei umfangreiche Simulationsstudien zur Untersuchung der statistischen Performance des HB-CBC Modells durchgeführt. Die Performance des HB-CBC Modells wird unter unterschiedlichen experimentellen Bedingungen analysiert, wobei verschiedene Gütemaße zur Beurteilung der Anpassungsgüte, der Parameter Recovery sowie der Prognosevalidität herangezogen werden. Im ersten Teil der Arbeit wird untersucht, ob Grenzen bezüglich der Parametereinstellungen in CBC-Studien existieren. Insbesondere stellt sich hier die Frage, wie viele Attribute aufgenommen werden können, wie weit die Stichprobengröße (Anzahl Respondents) reduziert werden kann oder wie viel individuelle Information (Anzahl Choice Tasks) benötigt wird, sodass das CBC-Modell noch gute Schätz- und Prognoseergebnisse liefert. Die Ergebnisse zeigen, dass sich das HB-CBC Modell bei einem einfachen CBC-Design als sehr robust erweist. Auch zeigt die Studie, dass weitaus mehr Attribute als in der einschlägigen Literatur empfohlen in CBC-Studien aufgenommen werden können. Ferner kann die Stichprobengröße verkleinert und/oder die Anzahl an Choice Tasks reduziert werden, sodass Kosteneinsparungen möglich sind bzw. Ermüdungserscheinungen bei Respondents vermieden werden können. Jedoch zeigt sich auch, dass die Performance des HB Modells deutlich leidet, wenn zwei der drei experimentell manipulierten Faktoren Anzahl Attribute, Anzahl Choice Tasks und Anzahl Respondents extreme Ausprägungen aufweisen und ein komplexes CBC-Design bzgl. der übrigen Experimentfaktoren vorliegt. Der zweite Teil der Arbeit widmet sich der Anwendung des HB-CBC Modells zur Prognose von Konsumentenpräferenzen. Zur Prognose der Produktwahlentscheidungen von Respondents in einem (hypothetischen) Marktszenario können verschiedene Wahlregeln verwendet werden. Diese Wahlregeln transferieren die Nutzenwerte der Respondents in individuelle Wahlwahrscheinlichkeiten. Durch Aggregation der Wahlwahrscheinlichkeiten über die Respondents hinweg können dann Präferenzanteile bestimmt werden. In Abhängigkeit der verwendeten Wahlregel kann es jedoch zu Unterschieden in der Prognose von Präferenzanteilen kommen, was zu Fehlentscheidungen in der Praxis führen kann. Daher wird in dieser Studie untersucht, welche Wahlregel die tatsächlichen Auswahlentscheidungen am besten prognostiziert. Die Ergebnisse zeigen, dass HB Draws in Kombination mit der First-Choice Wahlregel anderen Wahlregeln deutlich überlegen sind und zu den geringsten Prognosefehlern führen. In den ersten beiden (gerade beschriebenen) Simulationsstudien wurden für die HB-Schätzungen die Standardeinstellungen bzgl. der sog. Hyperpriori-Verteilungen verwendet. Die Simulationsstudie im dritten Teil der Arbeit geht über die Standard HB Priori-Einstellungen hinaus und untersucht, welchen Einfluss diese Priori-Einstellungen (Priori-Varianz und Priori-Freiheitsgrade) auf die Performance des HB-CBC Modells haben. Die Ergebnisse zeigen, dass die Priori-Freiheitsgrade die Performance des HB-CBC Modells nicht beeinflussen und daher zu vernachlässigen sind. Hingegen führt die Erhöhung der Priori-Varianz zu Overfitting-Problemen bzgl. der Parameter Recovery und der Anpassungsgüte. Es zeigt sich jedoch nur ein geringer Einfluss der Priori-Varianz auf die Prognosevalidität.

Vorschau

Zitieren

Zitierform:

Hein, Maren: On the statistical performance of Hierarchical Bayes MNL conjoint models: findings from simulation studies. 2020.

Zugriffsstatistik

Gesamt:
Volltextzugriffe:
Metadatenansicht:
12 Monate:
Volltextzugriffe:
Metadatenansicht:

Grafik öffnen

Rechte

Nutzung und Vervielfältigung:
Alle Rechte vorbehalten

Export