下関市立大学データサイエンス学部の白濵成希教授らの研究グループは、2026年10月15～17日にインドネシア・バリ島で開催された国際会議「ICECCME 2026」で、大規模言語モデル（LLM）の感情理解を評価する研究成果を発表しました。白濵教授は15日に口頭発表を行い、海外の研究者と活発に意見を交わしました。 

写真1：ICECCME 2026の会場で質疑に対応する白濵教授。 

AIは人間と同じように「悲しい」と評価するのか？ 

小説を読んで「悲しい」「驚いた」と感じる強さは、人によって異なります。では、ChatGPTなどに使われるLLMは、文学作品の感情をどのように評価するのでしょうか。今回の研究は、AI自身に感情があるかを調べるものではなく、AIが付けた感情の点数が人間の評価にどの程度近いかを科学的に検証するものです。 

研究グループは、日本語の文学作品3作品について、読者から得た91件の回答をもとに、「関心」「驚き」「悲しみ」「怒り」の4つの感情を0～100点で表す人間の評価基準を作成しました。そして、6種類のLLMによる評価と比較。さらに、作品と指示文を英語・中国語に翻訳した条件でも、各モデルの点数がどう変化するかを調べました。 

図：人間の評価への近さと、翻訳した条件での評価の変化を別々に調べました。 

「人間に近い評価」と「翻訳しても変わらない評価」は別のもの 

今回の分析から、人間の感情評価との近さと、翻訳した条件で点数が変わりにくいことは、異なる性質であるとわかりました。実際、前者で最も近い数値を示したモデルと、後者で変化が最も小さかったモデルは異なりました。ただし、人間評価に近い上位モデルの間で、明確な優劣を確定できたわけではありません。また、作品や感情の選び方によってモデルの順位が変化しました。 

AIの感情理解を単純なランキングで判断することの難しさを示す結果です。ただし、3作品・6モデルによる初期段階の検証であり、結果をあらゆるAIに一般化することはできません。 

人間との比較は日本語の評価を基準としています。英語・中国語の人間評価との比較は行っていません。また、作品と指示文の両方を翻訳しているため、点数の変化を言語だけ、翻訳だけ、あるいは文化の違いだけの影響とみなすことはできません。 

写真2：日本語の人間評価を基準としたLLM比較研究について口頭発表。 

発表後には、ドイツの研究者から「中国語に翻訳した場合、中国発のLLMには特徴が現れるのではないか」との質問があり、モデルの特性や多言語評価について議論が交わされました。国際会議で異なる視点から意見を得ることは、今後の研究課題を考える貴重な機会にもなりました。 

信頼できるAIの評価へ――科研費研究「EQ-Fuzzy」につなぐ 

人と対話するAIが社会に広がるなか、その回答が人間の感じ方とどの程度合っているのか、条件が変わっても安定しているのかを確かめることは重要です。将来的には、教育支援や利用者に配慮した対話サービスなど、AIの適切な活用を考える際の評価方法に役立つことが期待されます。 

白濵教授らはこれまで、感情の強さを連続的な数値で表す評価方法や、LLMごとの感情評価の特徴について研究を重ねてきました。今回の成果もその延長線上にあり、科学研究費助成事業（科研費）による研究課題「ファジィエントロピーとペルソナ多様性に基づくLLM感情知能の不確実性評価（EQ-Fuzzy）」につながる取り組みです。今後は、感情評価の曖昧さや不確実性も含めて、多面的にAIを評価する研究を進めます。 

こうした研究は、AIを「使う」だけでなく、その能力や限界をデータに基づいて検証するという、データサイエンスの学びの面白さも示しています。 

発表した国際会議について 

ICECCME（International Conference on Electrical, Computer, Communications and Mechatronics Engineering）は、電気・電子、情報通信、人工知能など幅広い工学分野を対象とする国際会議です。2026年は第6回大会にあたり、主催者によると、2021～2025年の各大会の発表論文はIEEEの学術文献データベース「IEEE Xplore」に掲載され、Scopusにも収録されています。2026年大会についても、採択・発表論文はIEEE Xploreの収録審査およびScopusへの収録申請が予定されています。 

写真3：会場で参加証明書を手にする白濵教授（右）。参加証明書は受賞証明書ではありません。 

発表論文・研究支援 

論文題目 

A Compact Japanese-Human-Grounded Benchmark for Literary Emotion Understanding with English/Chinese Robustness Probes 

著者 

Naruki Shirahama（白濵成希）、Yuma Yoshimoto、Naofumi Nakaya、Junji Nishino、Satoshi Watanabe 

発表 

ICECCME 2026、2026年10月15日、インドネシア・バリ島（Paper ID: 648） 

研究支援 

JSPS科研費（課題番号 26K14983、24K13350）の一部支援を受けています。 

大会公式サイト 

ICECCME 2026 

How does AI read sadness in fiction? Professor Shirahama and colleagues present research at ICECCME 2026 

A research team including Professor Naruki Shirahama of the Faculty of Data Science at Shimonoseki City University presented its work on evaluating emotion understanding in large language models (LLMs) at ICECCME 2026, held in Bali, Indonesia, on 15–17 October 2026. Professor Shirahama gave an oral presentation on 15 October and exchanged ideas with researchers from abroad. 

Photo 1. Professor Shirahama responding to questions at ICECCME 2026. 

Does AI rate sadness in the same way as people? 

A story may leave one reader deeply saddened and another only mildly moved. How do LLMs—the technology behind services such as ChatGPT—rate emotion in literature? This study does not investigate whether AI has feelings of its own. It examines how closely the emotion scores produced by AI match human ratings. 

The team used 91 reader responses to establish a human reference for three Japanese literary works. Readers rated four dimensions—interest, surprise, sadness and anger—on a scale from 0 to 100. The researchers compared these ratings with scores from six LLMs. They also examined how each model’s scores changed when both the literary texts and task instructions were translated into English or Chinese. 

Figure. Agreement with human ratings and changes under translated conditions were evaluated separately. 

Matching human ratings and remaining stable after translation are different qualities 

The analysis showed that agreement with human emotion ratings and stability under translated conditions are distinct qualities. The model with the closest observed match to human ratings was different from the one whose scores changed the least under translation. However, the study did not establish a clear winner among the models with the closest human alignment. Model rankings also changed when the selection of works or emotion dimensions was altered. 

These findings show why a simple ranking can be misleading when assessing AI emotion understanding. This was an early-stage study of three literary works and six models, so its findings cannot be generalized to all AI systems. 

The human comparison used Japanese ratings as its reference. No comparisons with human ratings in English or Chinese were conducted. Because both the texts and instructions were translated, changes in scores cannot be attributed solely to language, translation or cultural differences. 

Photo 2. Presenting the LLM comparison study grounded in Japanese human ratings. 

After the presentation, a researcher from Germany asked whether LLMs developed in China might show distinctive patterns when the texts were translated into Chinese. The question prompted discussion of model characteristics and multilingual evaluation. Perspectives shared at international conferences can help shape questions for future research. 

Toward trustworthy AI evaluation: connecting with EQ-Fuzzy 

As conversational AI becomes more widely used, it is important to examine how well its responses reflect human judgments and how stable they remain when conditions change. In the future, evaluation methods of this kind may help inform appropriate uses of AI, including educational support and dialogue services that are sensitive to users’ needs. 

Professor Shirahama and his collaborators have previously studied methods for expressing emotion intensity on continuous numerical scales, as well as differences in emotion ratings across LLMs. The present work builds on that research and connects with EQ-Fuzzy, a project supported by Japan’s Grants-in-Aid for Scientific Research (KAKENHI) that evaluates uncertainty in LLM emotional intelligence using fuzzy entropy and persona diversity. The team plans to develop a more comprehensive approach to AI evaluation that takes ambiguity and uncertainty in emotion ratings into account. 

This research also illustrates the appeal of studying data science: going beyond using AI to examining its capabilities and limitations through evidence. 

About the conference 

ICECCME—the International Conference on Electrical, Computer, Communications and Mechatronics Engineering—covers a broad range of engineering fields, including electrical and electronic engineering, information and communications, and artificial intelligence. The 2026 event was its sixth edition. According to the organizers, papers from the 2021–2025 conferences have been published in IEEE Xplore and indexed in Scopus. For 2026, accepted and presented papers are planned for submission to IEEE Xplore, subject to its scope and quality requirements, and for submission to Scopus for indexing. 

Photo 3. Professor Shirahama (right) with a certificate of participation at the venue. This is a participation certificate, not an award certificate. 

Paper and research support 

Title 

A Compact Japanese-Human-Grounded Benchmark for Literary Emotion Understanding with English/Chinese Robustness Probes 

Authors 

Naruki Shirahama（白濵成希）, Yuma Yoshimoto, Naofumi Nakaya, Junji Nishino, Satoshi Watanabe 

Presentation 

ICECCME 2026, 15 October 2026, Bali, Indonesia (Paper ID: 648) 

Funding 

This work was partially supported by JSPS KAKENHI, Grant Numbers 26K14983 and 24K13350. 

Conference website 

ICECCME 2026