西谷元（広島大学 社会科学研究科教授副理事
グローバル化推進室室長）
クレッグ・シーリー（ジェームスマディソン大学 大学院心理学教授、IBVI代表）
講師感想
海外留学プログラムの効果を検証するために、多くの大学では事後アンケートを用いて、主として定性的なプログラム効果測定を行ってきた。本セッションは、客観的に、留学プログラムによる変化を可視化する評価テスト（BEVI）及び当該テストを用いた評価手法を紹介することを目的とした。また、当該セッションは、Dr. Darla Deardorffによるセッション9「The Changing Paradigm of International Education Outcome Assessment」、10「Tools for Developing Intercultural Competence」をより具体化し補完することも目的としていた。
評価テストBEVIの紹介とともに、日本人学生の具体的データを用い、各種の留学プログラムが学生の行動特性にどのような変化をもたらしたのかを明らかにした。また、効果的なプログラム開発に必要な要素、評価の計画、結果の利用方法等を紹介し、留学プログラムに関わる課題について意見交換を行った。
27日と28日に各々90分のセッションを提供し、参加者はそれぞれ40名前後であった。事前アンケートから各大学においてほとんど評価ツールを利用していないことが明らかになったため、manabeを利用し背景情報を紹介した英日論文を事前に配布した。
セッションの内容としては、客観的測定という概念自体、また評価テストのBEVI、データ解釈など内容が複雑かつ多岐にわたったが、多くの参加者から今後のBEVI利用について肯定的な反応を得た。ただ、BEVIの構造が複雑なため、限られた時間では参加者の十分な理解を達成することはできなかった。今後機会を改めてBEVIについてワークショップ/シンポジウムの開催を計画している。
Session 8: Assessment
of Study Abroad Program Outcome
Quality Assurance and PDCA of Study Abroad Program using evaluation tool,
BEVI-j
Hajime NISHITANI (Vice Executive, Professor, Hiroshima University)
Craig N. SHEALY (Professor, James Madison University)
Facilitator’s Impressions
Hajime NISHITANI (Vice Executive, Professor, Hiroshima University)
In order to assess the impact of study abroad programmes, many universities use post-programme qualitative questionnaire. The main purpose of this session was to introduce the audience a mixed, quantitative and qualitative, evaluation test called the Beliefs, Events, and Values Inventory (BEVI) so that they may visualise the changes and growth caused by study abroad programmes. The secondary purpose of the session was to supplement Dr. Darla Deardorff’s sessions 9 “The Changing Paradigm of International Education Outcome Assessment” and 10 “Tools for Developing Intercultural Competence”.
After the introduction to the BEVI test, the session clarified how different types of study abroad programmes have changed the student’s behavioural characteristics using concrete data from various Japanese universities. In addition, this session revealed seven elements necessary for effective programme development. The above all led to a discussion and exchange of views with regard to the research frameworks, and the usage of the results related to the study abroad programmes.
90-minute sessions each were offered on both the 27th and 28th August, with about 40 participants in each. A preliminary questionnaire revealed that most universities have not used any study abroad evaluation tools at all. To complement the diversity of the audience, English and Japanese papers introducing background information were distributed in advance.
The content of the session was very extensive and included discussion of the concepts of objective measurement and assessment, the BEVI test itself, and data interpretation. The presenter received very positive responses from many participants about quantitative evaluation using the BEVI. Due to those responses and the complexity of the objective measurement, the presenter is planning to hold a future series of workshops/symposia about the BEVI.