2026年11月3日、本学データサイエンス学部の白濵成希教授が、東京都八王子市で開催の国際会議「SCIS&ISIS 2026」において、大規模言語モデル（LLM）による感情評価の研究成果を発表しました。AIに指示する読み手の立場と、回答を生成する際の設定を独立に変え、それぞれが評価にどう関わるかを調べた研究です。 
 

AIへの役割指示と生成設定を切り分ける 

AIに文学作品の感情を評価させるとき、点数の違いは何から生まれるのでしょうか。本研究では、AIに指示する役割や読みの立場である「ペルソナ」と、生成時の選択のばらつきに関わる設定「temperature」に注目しました。特定のペルソナとtemperatureを一対一に組み合わせるだけでは、どちらの設定に対応する違いなのかを区別できません。 

そこで、6種類のLLMに日本語の文学作品3編を提示し、大学1年生、文学研究者、感情豊かな詩人、感情を持たないロボットという4つの立場と、4段階のtemperatureをすべて組み合わせました。各条件につき5件、計1,440件の応答から、「興味」「驚き」「悲しみ」「怒り」を0～100で表す計5,760件のスコアを分析しました。 

平均スコアとファジィエントロピーでは、設定の影響が異なる 

今回の条件では、設定による平均スコアの違いは主にペルソナに対応し、temperature単独に対応する違いは比較的小さい結果となりました。 
一方、スコアが「低・中・高」にどの程度重なって当てはまるかを数値化する「ファジィエントロピー」では、違いの内訳に占める二つの設定の組合せの割合が、平均スコアの場合より大きく、特に怒りと驚きで目立ちました。 
これらは、二つの設定を独立に変え、平均スコアと派生指標を分けて読む重要性を示す知見です。ただし、この指標はAIの主観的な感情や人間の心理を直接測るものではなく、結論は今回選んだモデルと作品の範囲に限られます。 

図: 本研究では、AIに与える役割（ペルソナ）と生成設定（temperature）を独立に変え、文学作品に対する感情評価がどのように変わるかを分析した。 

科研費研究「EQ-Fuzzy」の進展へ 

本研究は、科研費基盤研究（C）「ファジィエントロピーとペルソナ多様性に基づくLLM感情知能の不確実性評価」（課題番号26K14983）で進めるEQ-Fuzzy研究の一環です。 
発表後には、人間の評価との比較、ロボット対話への応用、特定の感情に対するAIの反応について質疑が交わされました。人間の評価との対応や、他の作品・言語にも同様の知見が当てはまるかは、今後の検証課題です。 
同会議には、白濵教授のほかにも本学データサイエンス学部から3名の教員が参加し、それぞれ研究成果を発表しました。 

発表論文・研究支援 

論文題目: A Factorial Design for Separating Persona and Temperature Effects in LLM-Based Fuzzy Emotion Scoring 

著者: Naruki Shirahama（白濵成希）、Yuma Yoshimoto、Naofumi Nakaya、Satoshi Watanabe 

発表: SCIS&ISIS 2026、2026年11月3日、東京都八王子市（Paper ID: 171、Full paper） 

研究支援: 本研究は、JSPS科研費JP26K14983およびJP24K13350の助成を一部受けて実施されました。 
大会公式サイト: SCIS&ISIS 2026 

How Do AI’s Emotion Ratings Change with Its “Role” and “Generation Settings”? 

Professor Shirahama presents at SCIS&ISIS 2026 — four faculty members from the Faculty of Data Science present their research 

On 3 November 2026, Professor Naruki Shirahama of the Faculty of Data Science at Shimonoseki City University presented research on emotion ratings generated by large language models (LLMs) at SCIS&ISIS 2026, an international conference held in Hachioji, Tokyo. The study examined how these ratings changed when the reading perspective assigned to the AI and its response-generation settings were varied independently. 

Separating the Effects of Roles and Generation Settings 

When AI is asked to rate emotions in literary works, what accounts for differences in its scores? This study focused on two factors: the persona—the role or reading perspective assigned to the AI—and temperature, a setting that influences variability in the choices made during response generation. When personas and temperature settings are paired one-to-one, it is not possible to distinguish which setting is associated with the observed differences. 

To address this issue, the researchers presented three Japanese literary works to six LLMs and tested every combination of four personas—a first-year university student, a literary scholar, an emotionally expressive poet, and an emotionless robot—and four temperature levels. With five responses per condition, they analyzed a total of 1,440 responses containing 5,760 scores for interest, surprise, sadness, and anger, each rated on a scale from 0 to 100. 

Mean Scores and Fuzzy Entropy Show Different Patterns 
Under the conditions studied, variation in mean scores across settings was primarily associated with persona. Variation associated with temperature alone was relatively small. 

Fuzzy entropy, meanwhile, quantifies the overlap in a score’s membership of the categories “low”, “medium”, and “high”. In the analysis of this measure, the interaction between the two settings accounted for a larger share of variation than it did in the analysis of mean scores. This pattern was particularly evident for anger and surprise. 

These findings highlight the importance of varying the two settings independently and interpreting mean scores separately from derived measures. However, the measure used here does not directly assess AI’s subjective feelings or human psychological states, and the conclusions are limited to the models and literary works examined in this study. 

Figure: The study independently varied the roles (personas) assigned to AI and the generation setting (temperature) to examine changes in emotion scores for literary texts. 

Advancing the KAKENHI-Supported EQ-Fuzzy Project 

This study forms part of EQ-Fuzzy, a project supported by a JSPS KAKENHI Grant-in-Aid for Scientific Research (C) (Grant Number 26K14983). The project focuses on evaluating uncertainty in LLM emotional intelligence using fuzzy entropy and persona diversity. 

The discussion following the presentation covered comparisons with human ratings, potential applications in dialogue with robots, and AI responses to particular emotions. How these ratings relate to human evaluations, and whether similar findings extend to other literary works and languages, remain questions for future research. 

In addition to Professor Shirahama, three other faculty members from the Faculty of Data Science attended the conference, each presenting their own research. 

Paper and Research Support 

Paper title: A Factorial Design for Separating Persona and Temperature Effects in LLM-Based Fuzzy Emotion Scoring 

Authors: Naruki Shirahama, Yuma Yoshimoto, Naofumi Nakaya, and Satoshi Watanabe 

Presentation: SCIS&ISIS 2026, 3 November 2026, Hachioji, Tokyo, Japan (Paper ID: 171; full paper) 

Funding: This work was supported in part by JSPS KAKENHI Grant Numbers JP26K14983 and JP24K13350. 

Conference website: SCIS&ISIS 2026