読了: Amit, Algom, Trope, & Liberman (2009) 絵と言葉のちがいは我々の解釈レベル理論で説明できるのだ

Amit, E., Algom, D., Trope, Y., Liberman, N. (2009) “Thou Shalt Not Make Unto Thee Any Grave Image”: The Distance Dependence of Representation. Markman, K.D, Klein, W.M.P., Suhr, J.A. (eds.) “Handbook of Imagination and Mental Simulation“, Chapter 4. Psychology Press.

　仕事の都合でざっと目を通したやつ。メンタル・シミュレーションの研究と解釈レベル理論との関連性がわかるかと思ったんだけど(メンタル・シミュレーションの論文集に載っていて、著者らは解釈レベル理論の中の人だから)、期待した内容とはかなり違いまして…

1. イントロダクション
　絵は常に想像可能だが、言葉は想像可能だったり不可能だったりする。また、言葉に基づくメンタル・シミュレーションは絵に基づくそれとは異なる。本章では、絵と言葉は心理的距離がちがうという考え方を提出する。

　絵と解釈の区別は、解釈レベル理論(CLT)から自然に導出される。CLTによれば、対象・出来事の心的表現には複数のレベルがある。高レベル解釈は抽象的表象で、出来事の情報のgistを抽出する。それらは一般的で、目標試行的で、脱文脈的で、一貫している。これに対し低レベル解釈は具体的表象で、文脈や偶発的特徴を含んでいる。
　モノ・出来事の解釈レベルを決定する要因のひとつは心理的距離である。距離が大きいほど、出来事は高レベル解釈として表象されやすい。
　さて、モノは絵でも名前でも表現できる。言葉は高レベル解釈の、絵は低レベル解釈の事例である。ということは、言葉より絵のほうが心理的距離が短いのではないか。また、近い出来事の表現都市は言葉より絵が好まれるのではないか。

2. 解釈レベルと心理的距離
　CLTの枠組みにおける、解釈レベルと心理的距離の関係についての研究:

  • Liberman, Sagrisano, Trope (2002 JESP): 項目のカテゴリ化における時間的距離の効果。時間的に遠いとカテゴリ数が減る。
  • Trope, Liberman (2000 JPSP): ものを評価するとき、二次的特徴より一時的特徴のほうが重視されるが、距離が遠いとその差が大きくなる。
  • Fujita, Henderson, Eng, Trope, Liberman (2006 Psych.Sci.): ビデオを見て記述する課題で、空間的に離れた場所だと教示したほうが記述が抽象的になる。
  • Liberman, Trope, McCrae, Sherman (2007 JESP): 解釈レベルが時間的距離に影響する。
  • Wakslak, Trope, Liberman, Alony (2006 JEPG): 同上 [←JEPGにもあるのか。これ、読んでみようかなあ]

3. 高レベル/低レベル解釈 v.s. 言葉/絵

　CLTでいう高レベル/低レベル解釈のちがいと、表象のモードとしての言葉/絵のちがいはパラレルである。[それぞれにおける対立を列挙した表。たとえば、どちらも抽象的/具体的]
　ふたつの表象システムはおそらく異なる認知機能に貢献している。[思弁的な話がぐだぐだ書いてある。略]

　というわけで、我々は次のように提案する。言葉は時間・空間・社会・文化において離れたモノを表し、絵は近接的なものを表す。
　この距離-媒体の連関は以下の示唆を持つ。

  • 絵の項目を分類するよりも言葉の項目を分類するほうがカテゴリ数が少なくなる。
  • 人は絵に対しては近接的な状況で、言葉に対しては離れた状況で、最適に反応できる。
  • 近接的な出来事の描写には絵の使用が、離れた出来事の描写には言葉の使用が好まれる。
  • 近接的な出来事の検索には絵が、離れた出来事の描写には言葉が適している。

4. 距離-媒体研究の例

  • 同じモノを絵として分類する場合と言葉として分類する場合の違い
    • Liberman et al.(2002): [分類実験の細かめの紹介。略]
  • 絵/言葉として表現されたモノの時間制限付きの分類
    • 社会的距離: Bar-Anan, Liberman, Trope, Algom (2007 JEPG): 自文化/他文化のモノを、絵/言葉で提示し、カテゴリ判断を求める。自文化では絵で、他文化では言葉で早い。
    • 時間的距離: [上の論文の別の実験の紹介。パス]
    • 空間的距離: [上の論文の別の実験の紹介。パス]
  • 絵/言葉として表現されたモノの時間制限付きの分類(空間的距離の場合) [あれ？ まだ上の論文の紹介が続いているようだ…]
  • 媒体選好における距離の効果 [まだ続いているの??? ちゃんと読む気になれないのでどうでもいいけど…]
  • 記憶検索における媒体の効果 [まだ続いているようだ… 長いなあ…]

要約すると、CLTという理論的枠組み、そして新たな実証研究によって、絵と言葉の本質的差異が表象の解釈レベルにあることが示された。

5. 高レベル/低レベル表象としての言葉/絵: 認知研究における絵-言葉の処理からの洞察

5.1 ロシュの分類: 絵よりも言葉のほうがカテゴリの幅が広い
　[本節、全然納得できないので細かくメモ]
　かつてEleanor Roschはこう論じた。人は自然物を3つのレベルでカテゴリ化する。(1)上位レベル、たとえば「家具」。(2)基礎レベル、たとえば「椅子」。(3)下位レベル、たとえば「キッチンチェア」。人はモノを名づける際、ふつう基礎レベルを用いる。
　ロシュの分類は主に言葉に適用される。「家具」の絵画表現は不可能である。また、基礎レベルカテゴリを表す絵が描けるかどうか定かでない。椅子をいくら簡潔に書いても、それが基礎レベル概念の絵画表現だというのは無理だろう。なるほど、哲学者Humeがいうように、人は基礎レベル・上位レベルの概念について考える際にもイメージに依存するだろう。しかし、その背後にある個別化の認知過程をみれば、絵・イメージの具体性と言葉の具体性の間のちがいがはっきりする。それぞれの語はカテゴリであり、そのため絵の解釈より語の解釈のほうが高レベルになる。絵は語よりももっと具体的で文脈的であり、そのため低レベル解釈と整合する。
　最後に述べた点は重要である。このことは、ロシュの枠組みでいうところの下位概念を指す語でさえ、かなり広いカテゴリを伴うこと、それらを絵で完全に表すことは不可能であることを意味している。[…] 言語は限りなく多様な具体的事例に対して語を付与できない。いっぽう絵は個別的な表現として機能しうる。そのとき絵は幅ゼロのカテゴリと考えることができる。

　上記では、ロシュの分類をCLTの観点から振り返った。次の3点が重要である。(1)ロシュの分類は普遍的に適用できるものではない。[…] (2)絵と言葉は表現手段として交換不可能である。(3)カテゴリの幅という概念を絵と言葉の両方に適用できる。

5.2 言葉/絵による名づけとカテゴリ化
　モノは高レベルでも低レベルでも解釈されうる。語による表現と絵による表現はその特殊ケースである。認知心理学では、命名は絵よりも語で速い、カテゴリ化は語よりも絵で速いといわれている。また不一致な語と絵を同時に提示すると、命名では語が絵に干渉しカテゴリ化では絵が語に干渉する。
　なぜこうなるかというと… [面倒なのでパス]

6. 注意: 絵と言葉は低レベル/高レベル解釈の特殊ケースだ
　絵/語の対比は、低レベル/高レベル解釈というより一般的な区別の、ひとつの特殊ケースにすぎない。
　[…面倒なので中略…]
　というわけで、知覚-意味というちがいは、低レベル/高レベル解釈を比較する際には重要でないが、表現手段としての絵と言葉を比べる際には重要である。
　
6.1 アイコン、インデクス、シンボル
　絵と語の基本的な違いとは何か。哲学者パースいわく、表現にはアイコン、インデクス、シンボルの3種類がある。絵はアイコン、語はシンボルである。のちにグッドマンは絵にだって規約に基づく要素があると批判したが、アナログ-規約という軸を考えたとき、絵が前者寄りで語が後者寄りであることは認めている。[…]
　まとめると、人は遠い/近い出来事を高レベル/低レベルで解釈する。絵と語はそれ自体が低レベル/高レベル表現である。しかし同時に、絵は準知覚的な品質を持つ。[…関心が薄れてきたので続きはパス]

6.2 プライミングと記憶における絵と言葉: いくつかの証拠
　[… パス …]

6.3 二重符号化理論
　Paivioの二重符号化理論では、空間的・非言語的対象によって伝達される情報に特化した認知システムと、言語的情報に特化した認知システムが存在する。この理論における主要な説明変数は入力の想像可能性である。具体的な語は想像可能なので両方のシステムで処理される。
　二重符号化理論における具体-抽象の区別は、CLTでいう高レベル/低レベルの区別と似ているが、次の点がちがう。二重符号化理論でいう具体-抽象は、表現手段としての絵-語とは直交している。絵のほうが具体的だとは必ずしもいえない。
　いっぽう我々は、現実的な問題として、語は絵よりも常に高レベルだと主張する。想像可能性が同程度であっても、語のほうがカテゴリとして広い。

7. まとめ
[略]
—————–
　絵と語がどうちがうかだなんて、なんとまあ古色蒼然とした話を… と半ば呆れながら目を通した。70年代かと、Paivioかと(実際、最後の節に登場した)。

　わたしゃどうでもいいんですけど、ロシュを引き合いに出しているくだり、刺激の性質と心的表象の性質をごっちゃにしてませんかね？ 「ロシュの分類は主に言葉に適用される」というのは、言語刺激と絵画的刺激に対応して、心的表象にも言語的表象とイメージ的表象というモードのちがいが存在する、エピソディックな記憶表象だけでなく意味記憶システムにおいてもこのモードのちがいがなお存続する、という主張を暗黙の前提にしてませんか？　それってかなり論争的な主張だったと思うけど？ 80年代にピリシンさんがコテンパンにやっつけてなかったっけ？ たしかその批判の一つは、刺激の性質と心的表象の性質をごっちゃにするなボケ、であった。イメージ的表象の実在性を信じようが信じまいが、この批判は全くごもっともであろう。この章を読んだら故ピリシンさんは泉下でおぶちぎれになられるのではなかろうか。

　うーん、まあ、個人的にはどうでもいいやって感じなんですけど…
　こういう「絵と言葉がどうちがうか」的な話題になぜ関心を持てないかというと、正確にいってどういう問いなのかがはっきりしないからだ。たとえば「ある情報を絵で提示した場合と言葉で提示した場合の違いは？」という問いは、(A)同一の情報を異なる媒体で伝達する際の処理の違いを問題にしているのか、(B)媒体の違いによって生じる情報そのものの差を問題にしているのか、(C)そんな細かいことはどうでもよいのか。(A)はかなりナイーブだし(まったく同じ情報を持つ言語刺激と絵画刺激は存在するの？)、(B)なら「まあそれは刺激によるんじゃないの」という底の抜けた話になる。
　おそらく唯一の生産的な問いは、状況をすごく狭く絞ったうえでの(C)だと思う。小学生に物理的概念の基礎を教えるために、同内容だと思われる二種類の教材をつくった、一方は主に文章で、他方は主に動画。成績の違いは… というような話。ああ、懐かしい、かつてそういう研究がいっぱいあったような気がする(マルチメディア教育ってやつだ)。院生の頃に研究会でその種の実験を報告している人がいて、理論的正当化のくだりで「この話をカナダでPaivio先生に聞いてもらったらその解釈で正しいといわれた」と主張していて、そういうディフェンスってアリなの？と思ったのも覚えている。往時茫々。

　いやいや、あんまりシニカルになってはいかんね。学問の発展というのはそのように、らせん状にゆっくり進歩したり退歩したりするもので、こうして古い話題が新しい意匠でリバイバルすることもある。ここでいうと、絵と言葉の違いという話題をCLTと結びつけることで、新しい展開があったということだろう。知らんけど。