单位门户网站建设,苏州吴中区做网站公司,中国国际贸易单一窗口登录,网站首页代码怎么做HealthX AI 2023-09-18 08:05 江苏
以下文章来源于老刘说NLP #xff0c;作者刘焕勇 老刘说NLP.
老刘#xff0c;NLP开源爱好者与践行者。主页#xff1a;https://liuhuanyong.github.io。老刘说NLP#xff0c;将定期发布语言资源、工程实践、技术总结等内容#xff0c;…
HealthX AI 2023-09-18 08:05 江苏
以下文章来源于老刘说NLP 作者刘焕勇 老刘说NLP.
老刘NLP开源爱好者与践行者。主页https://liuhuanyong.github.io。老刘说NLP将定期发布语言资源、工程实践、技术总结等内容欢迎关注。 老刘说NLP
老刘NLP开源爱好者与践行者。主页https://liuhuanyong.github.io。老刘说NLP将定期发布语言资源、工程实践、技术总结等内容欢迎关注。
498篇原创内容
公众号
今天是2023年8月13日星期日北京天气晴。
在昨天的文章中我们讲了一些关于工作和生活的几点废话感想但其本质上是一种属于心理的范畴。
我们常常会因为一些困扰从而产生心理问题而且随着当前社会戾气的加重短视频等不受控内容的盛行心理健康愈发引起大家的关注。
因此如何将大模型与心理健康领域进行结合做一些类似于心理咨询、情感陪伴的事情是大家都想尝试的点。
但说到尝试必然会涉及到数据和模型两个方面这也是我们做垂直领域模型的落地的两个经典话题。
在数据方面PsyQA《PsyQA: A Chinese Dataset for Generating Long Counseling Text for Mental Health Support》一个中文心理健康支持问答数据集提供了丰富的援助策略标注。可用于生成富有援助策略的长咨询文本。基于这个数据也可以使用GPT4等模型进行扩展。
项目地址https://github.com/thu-coai/PsyQA论文地址https://arxiv.org/pdf/2106.01702.pdf
在模型方面目前已经涌现出越来越多的开源的、可商用的模型这些都逐步低门槛化连同一些微调代码、解决方案也一并提供了这使得我们能够快速的进行一些实验。
因此两方面都具备之后本文主要介绍关注心理领域的几个微调模型包括MeChat心理健康支持对话陪伴大模型、QiaoBan中文儿童情感陪伴大模型“巧板”、灵心SoulChat心理健康大模型以及MindChat漫谈心理大模型共4个同样的从数据构造尤其是其中的多轮构造smile方法、多个主题下的多轮数据QiaoBan、模型效果可以通过文中的链接进行体验、模型基座如新上的baichuan\internLM等几个方面进行介绍供大家一起参考。
我们可以尝试去想象健康领域还能做什么每个项目的差异点是什么这些都是很有趣的话题。 老刘说NLP
老刘NLP开源爱好者与践行者。主页https://liuhuanyong.github.io。老刘说NLP将定期发布语言资源、工程实践、技术总结等内容欢迎关注。
498篇原创内容
公众号
一、MeChat心理健康支持对话陪伴大模型
MeChat (Mental Health Support Chatbot)由西湖大学深度学习实验室开发的心理健康支持对话陪伴机器人由 ChatGLM-6B LoRA16-bit 指令微调得到提供情感支持和心理疏导关于心理健康健康支持外的属于基础模型已有的知识。
1、训练数据
通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话single-turn to multi-turn inclusive language expansion via ChatGPT该数据集含有 56k 个多轮对话其对话主题、词汇和篇章语义更加丰富多样更加符合在长程多轮对话的应用场景。 我们来看看 SMILE 方法这项工作的目的是在 PsyQA 的基础上利用所提出的 SMILE 方法构建一个大规模的、接近现实生活的多轮对话语料库。尽管 QA 可被视为真实求助者与支持者之间的单匝对话但与实际的多匝对话相比在措辞上存在一些差异。例如楼主threadstarter一词在 QA 中经常出现但在对话中却很少出现。
1数据预处理
数据清理上对 PsyQA 进行两阶段数据清理以减少语言差异然后再将 QA 重写为多转会话。这一过程包括自动和手动清理。
首先在自动清洗上采用顺序数据清洗管道来迅速替换不适合对话场景的单词。例如楼主你thread starter you和楼主thread starter都应该换成你you。但是为了避免你的重复和由此产生的你你有必要进行前者的替换。 其次在手动清理方面由于语言的特殊性和复杂性手动清理仍然是整个过程中必不可少的一部分。 为了防止虚拟对话系统表现出过于频繁的拟态行为识别了中文抱抱一词的实例并手动删除了包含该词的句子片段。
随后在对 PsyQA 数据集进行统计分析后。发现有 757 个 QA 的总长度超过了 1,800 个字符。此外有 9 个 QA 中帮助者和支持者的话语总长度超过了 4000 个字符。此外Chat-GPT 模型的最大上下文长度为 4096 个标记。为了确保高质量和流畅的改写限制了问答QA的长度对最大限度地增加改写对话的数量。具体来说将 QA 对的长度限制在 1800 个字符并截去多余的文本。这样就能确保生成的文本限制在大约 2000 个标记。
2问句扩展
最后再来看看 SMILE 的具体实现机制为了建立一些术语的约定俗成该工作将求助者和支持者分别定义为中文的求助者和支持者。单轮对话定义为求助者:uH 支持者:uS其中 uH 和 uS 分别代表求助者和支持者的话语H 和 S 指求助者和支持者。
其核心在于提示模板以期指导 ChatGPT 生成多轮对话总共建立了三种提示方法。对于每种提示方法我们都会指示 ChatGPT 生成 5000 条对话
首先是普通提示 Plain Prompt普通提示没有单轮对话只使用初始提示来生成多轮对话。 例如
[求助者我感觉整个世界都塌了我真的无法应对这个问题了。,支持者我知道这些问题可能会让你感到无助但是我们可以想办法度过难关。,求助者我已经很久没有好好睡觉了每天都感到疲惫不堪。,支持者我了解你的疲惫我们可以选用放松的技巧如冥想。,求助者但是我觉得我无法集中自己的注意力以便找到解决这个问题的方法。,支持者那么我们可以一起找到一些方法预防过度思虑让你掌控自己的思维。,求助者我感觉自己就是个失败者无法完成手头的工作长期处于压力之下。,支持者谁都感受到过这样的感觉这是人类的情感之一。让我们一起找到正面的声音减轻压力。,求助者我有很多的焦虑感到无法控制自己的情绪。,支持者我们可以一起运用情绪调节技巧帮你渐渐地减缓情绪及如何让自己更好地应付不同的场合。,求助者谢谢你我感觉我有一位支持者可以依赖了。,支持者任何时候只要你需要我都在你身侧支持你。
]
其次是 SMILE 方法提示它将语言从单轮对话扩展到多轮对话。提示模板如图 3 所示 为了评估 SMILE 方法中思维链CoT提示的效果图 3 中红色标注进一步将其分为 SMILE 和 SMILEcot。
SMILE 数据样例
[求助者我最近感到很迷茫。高三后的我不仅感到高考前的恐惧还感到从自己出生以来就是多余的毫无意义。我没有朋友只能一个人默默承受。您能给我一些建议吗,支持者看到你的话我感到你很焦虑这是常见的高中生活状态。首先想说的是我看到了你的决心。这点是很多人没有的。高考最重要的是心态你需要具备必胜的心态,求助者谢谢你的鼓励我真的很想放松一下但是也觉得自己不能失去目标和动力。,支持者有目标就好办计划制定一个时间合理配置的复习计划非常重要这可以帮助你缓解焦虑。如果你不知道怎样制定计划我可以提供一些建议。,求助者那我应该如何制定计划呢,支持者从高一开始一步一步来起点要低试试题海战术。先做一些基础练习逐渐加强难度这样你会慢慢有成就感。同时要注意每种类型的题目都要做多做一些经典题目。这样你就能够更快地理解并解答考题了。,求助者如果我对某些题目无法理解怎么办呢,支持者别害羞去问老师。大胆地告诉他们你对这问题的不解老师会帮助你理解并解答你的疑问这是老师应该做的。不用等毕业再叙旧马上去问吧,求助者我觉得自己英语和物理考得不太好怎样处理这种情况呢,支持者你可以多听多背英语这样你就能够加深印象了。至于物理你可以重查重思教材练习题目多思考基础概念这样能够加深理解。同时也别去想别人的期望想一想自己的潜力。坚持学习你就一定能够成功的,求助者谢谢你支持我的鼓励有了你的建议和支持我会更加努力学习坚定信心争取高考成功,支持者没问题我会一直支持你的相信自己一定能够实现自己的人生目标加油]SMILE-cot 数据样例
[求助者我最近很迷茫高三后的压力让我感到恐惧我对自己的存在感到怀疑您能不能给我一些建议呢,支持者看到你面临的困境与压力真心希望能够帮助你。首先我想说的是你并不是孤独的高考前的困惑与迷茫是很常见的。不要给自己太大的压力给自己短暂的放松。你认识到问题所在这已经是一个很大的进步了。,求助者谢谢您的鼓励但我觉得自己学习成绩不好没有进步这让我更加困惑。,支持者学习成绩好坏不是解决问题的关键专注于自己的进步更为重要。为了达到自己的目标制定一份合理的计划按部就班的完成每一项任务。有时候自学不如求助他人不要害怕问老师和同学问题以便获得更好的帮助和理解。,求助者我认为我缺乏自信不知道怎样扭转自己的消极情绪您能给我一些建议吗,支持者建立自信需要时间和努力。让我们从一点一滴的进步中建立自信心。设立一些具体的目标完成这些目标将会培养自己的自信。鼓励自己在每天结束前总结一下自己的成就这将帮助你更好的看到自身的优点。,求助者我感到很无助不知道该如何调整自己的心态。,支持者了解自己的情绪并寻找有效的调节方法是处理感到无助情况的关键。比如爱好运动、听音乐和阅读书籍等这些活动对于您的心理健康都是有积极帮助的。此外在处理感到无助的情况下家庭和朋友的支持也是非常关键的。,求助者我感觉我的思维和学习方法都很糟糕该怎样改进呢,支持者学习方法确实很重要它会对你的成绩和情绪有很大的影响。最有效的学习方法是利用时间来做练习多做一些题目练习自己的掌握能力。建立起对知识的兴趣这需要不断的积累不要害怕失败或挫折它们会成为助你成长的宝贵财富。,求助者我会按照您的建议努力但想问一下我该如何面对可能的失败,支持者每个人都会面对失败和挫折不要让它们打败你。碰到失败时重新审视自己分析分析自己的不足寻找方法去改进。记得勇敢地看向未来不要让过去的失败阻碍了自己前进的脚步。,求助者非常感谢您的建议和支持我会努力去实践。,支持者这是我应该做的你有勇气面对自己困难你并不孤独我们会一起为你打气祝愿你早日获得心灵的平静和所有的成功。
]3对话数据的分析
数据的分析是衡量微调数据的重要方法下面列举的几个也很有指引性
首先先看对话主题的分析从每种方法中抽取了 2000 个不同的对话样本并为每个对话设计了一个提示以自动标注 Sun 等人2021 年提供的对话主题。
图 6 显示使用 SMILE 方法生成的对话比使用普通方法生成的对话更加多样化。
具体地在使用普通提示方法时生成对话的会话主题大多围绕三个类别自我成长、治疗和情感。然而其他类别几乎完全被忽略只有行为类别出现了 18 次。
在对待和情感这两个类别中使用普通提示法生成的对话语料数量高于使用 SMILE 法生成的对话语料数量。
相反在行为、关系、爱情问题、婚姻、家庭和事业这六个类别中在相同的对话数量下SMILE 方法生成的语料库包含的对话主题明显比普通提示方法生成的语料库丰富因为在这六个类别中对话主题出现的频率都低于 100。 其次在语义特征层面在 PsyQA 数据集中一个特定问题可能有一个或多个答案。为确保公平性并避免重复出现同一问题但答案不同的情况我们从 PsyQA 的前 5000 个 QA 中抽取 500 个不重复的问题并选择相应问题的第一个答案。这样我们就获得了 500 个不同的索引和相关的生成对话以及使用普通提示方法获得的对话。然后我们计算成对余弦相似度。
图 7 显示SMILE 和 SMILEcot 方法的中位数都低于普通方法的中位数SMILE 方法的中位数低于 SMILEcot 方法的中位数。关于四分位距SMILE 方法的宽度最大SMILEcot 方法次之而普通方法最小。从中位数和四分位间范围的角度来看得出结论SMILE 方法生成的语料库具有最广泛的语义多样性。但是加入思维链提示后效果仍未得到改善。 最后在词法特征层面词汇多样性是会话语料中词汇丰富性和多样性的衡量标准。在本研究中我们使用 distinct-nmet-ric 来分析不同方法之间的词汇多样性。如图 8 所示总重词和独特重词的数量以及 distinct-2 的值随对话数量的变化而变化。
3、项目效果
体验入口https://huggingface.co/qiuhuachuan/MeChat中给出了一个体验的地址可以自行体验。 地址https://github.com/qiuhuachuan/smile
模型地址https://huggingface.co/qiuhuachuan/MeChat
论文地址https://arxiv.org/pdf/2305.00450.pdf
二、QiaoBan中文儿童情感陪伴大模型“巧板”
旨在构建一个面向儿童情感陪伴的大模型主要面向 K12 中小学生及家长群体是一个 7B 规模的大语言模型。
在训练数据上从真实场景的儿童对话话题列表中进行采样选定当前对话话题在儿童情绪辅导理论的指导下构建了 1k 余段高质量中文儿童情感陪伴对话数据。数据构建过程由经过儿童情绪辅导理论培训的志愿者完成同时邀请了儿童心理学领域的专家学者对数据的收集过程提出建议与指导以确保数据的准确性和可信度。
从项目中的话题列表共 538 个文件https://github.com/HIT-SCIR-SC/QiaoBan/blob/main/topic.txt部分如下
班会游戏、新年班会、评奖班会、班级聚餐、班级聚会
元旦晚会、才艺晚会、儿童节文艺表演、“快乐童年”才艺小舞台、儿童节游园、春节联欢晚会、运动会、歌唱比赛、诗朗诵比赛、年级篮球赛
动物园、博物馆、风景区、春秋游
篮球、足球、跑步、羽毛球、乒乓球、台球、游泳
拾金不昧、热爱劳动、诚实、乐于助人、自主为班级搬东西例如给定话题生成的数据如下
{dialog_id: 1,emotion: angry,topic: 班会游戏,dialog: [{text: 妈妈老师说我没赢游戏但我真的赢了我好生气觉得太不公平了,speaker: 孩子},{text: 亲爱的我了解你的感受可以跟我说说班会上的情况吗,speaker: 智能助手},{text: 我们班有个游戏我得分最高团队也赢了但老师却说是别的同学赢了这太不公平了,speaker: 孩子},{text: 我明白了但是你是怎么赢的游戏呢,speaker: 智能助手},{text: 我得分最高团队也赢了所有人都看到我是赢家为什么老师还说我没赢呢,speaker: 孩子},{text: 那你知道老师为什么这么说吗,speaker: 智能助手},{text: 不知道但我觉得太不公平了,speaker: 孩子},{text: 是啊很不公平但是我们也要尊重老师的决定也许他有自己的原因。你可以去跟老师聊一下了解他的想法这样你会更清楚事情的真相。如果你还是觉得很不公平我们可以一起找班主任或校长谈谈但是在处理问题时我们要保持冷静不要因为情绪而做出错误的决定。,speaker: 智能助手},{text: 好的我会去跟老师聊聊。谢谢你妈妈。,speaker: 孩子},{text: 没事我永远支持你如果需要帮助随时来找我哦。,speaker: 智能助手},{text: 妈妈还有一件事我想跟你说。,speaker: 孩子},{text: 什么事你可以跟我说说看。,speaker: 智能助手},{text: 今天我跟同学吃午饭时有个同学讲了很多关于环保的事情让我感到很惊讶。,speaker: 孩子},{text: 哦那你觉得他讲了些什么有趣的事情吗,speaker: 智能助手},{text: 他说我们要多使用可重复利用的袋子可以减少塑料袋的浪费还说我们要多种植树木因为树木可以吸收二氧化碳减少空气污染。我觉得这些主意很好如果每个人都能做到地球就会更加美好了,speaker: 孩子},{text: 太好了你的同学有很棒的想法你也可以向他学习哦。你可以跟他多聊聊环保方面的知识也可以尝试在家里做些环保的事情比如垃圾分类、节约用水等等。,speaker: 智能助手},{text: 好的我会的我觉得环保真的很重要我们要尽力保护我们的地球。,speaker: 孩子},{text: 是的这是我们每个人都应该做的事情。我很高兴你能意识到这一点继续加油哦,speaker: 智能助手}]}此外通过话题采样选定当前对话话题结合儿童情绪辅导理论指导下的 prompt共同组成 chatgpt_prompt从 gpt-3.5-turbo 中获取5 千段儿童情感陪伴对话数据。
在训练耗费上在四张 A100-80GB 的 GPU 卡上进行指令微调大约花费 50 个小时完成训练过程。
最后看模型效果 地址https://github.com/HIT-SCIR-SC/QiaoBan
三、灵心SoulChat心理健康大模型
SoulChat是经过百万规模心理咨询领域中文长文本指令与多轮共情对话数据联合指令微调的心理健康大模型选择ChatGLM-6B作为初始化模型进行了全量参数的指令微调。
模型地址https://huggingface.co/scutcyr/SoulChat
1、训练数据
考虑到当前十分欠缺多轮共情对话数据集构建了超过15万规模的单轮长文本心理咨询指令与答案SoulChatCorpus-single_turn回答数量超过50万指令数是当前的常见的心理咨询数据集PsyQA的6.7倍并利用ChatGPT与GPT4生成总共约100万轮次的多轮回答数据SoulChatCorpus-multi_turn。
此外由于在预实验中发现纯单轮长本文驱动的心理咨询模型会产生让用户感到厌烦的文本长度而且不具备引导用户倾诉的能力纯多轮心理咨询对话数据驱动的心理咨询模型则弱化了模型的建议能力因此混合SoulChatCorpus-single_turn和SoulChatCorpus-multi_turn构造成超过120万个样本的单轮与多轮混合的共情对话数据集SoulChatCorpus。
所有数据采用“用户xxx\n心理咨询师xxx\n用户xxx\n心理咨询师”的形式统一为一种指令格式。
2、使用效果
测试地址https://soulchat.iai007.cloud 地址https://github.com/scutcyr/SoulChat
四、MindChat漫谈心理大模型
漫谈(MindChat)期望从心理咨询、心理评估、心理诊断、心理治疗四个维度帮助人们纾解心理压力与解决心理困惑, 提高心理健康水平。
模型基座采用MindChat-InternLM-7B、MindChat-Qwen-7B以及MindChat-Baichuan-13B。
1、训练数据
采用了经过人工清洗的约20万条的高质量多轮心理对话数据进行训练, 涵盖工作、家庭、学习、生活、社交、安全等多个方面。 具体数据样例如下 {instruction: 谢谢你的意见我感觉自己可以坚持下去了,input: ,output: 看完您所有的描述我相信您可以做到与时俱进又会了解诸多规则这样持之以恒定会成为可以照顾自己的人加油,history: [[我是文盲我不知道怎么跟上时代也没办法照顾自己。, 不要觉得自己被称为‘文盲’就意味着您不能学习和适应现代社会您可以具体跟我说说您遇到的问题],[我岁数很大还无法阅读和听取很难了解到现在发生的事情。, 您可以通过谈话来获取知识无论任何年龄和背景学习都是一种持续的过程。],[我可以和人好好交流也渴望学习知识但我找不到交流的人。, 为什么不试着加入社区组织或参加公共活动接触不同领域的人士并了解他们的见解和观点呢],[很多新的社会规则和互联网我都想去了解, 无规矩不成方圆懂得遵守规则是做事的原则学习互联网紧跟科技的潮流而不落伍是积极的态度与精神做的很好。]]},{instruction: 好的我会听取你的意见。,input: ,output: 很高兴你能听取我相信你能坚持下去克服失眠的问题。,history: [[我也不知道自己怎么回事儿整宿整宿的睡不着。, 从你的描述中了解到因失眠备受困扰你目前的状态持续多长时间了通常来讲导致失眠的因素有很多种:比如躯体因素、环境因素、化学因素以及精神因素通过以上所诉来分析一下你的失眠是属于哪一种你睡觉的时候有没有在想什么],[没有啊就是睡不着。, 你没有胡思乱想为什么睡不着多大了最近有没有遇到什么烦心事],[我21岁就是整宿整宿睡不着经常头疼不知道自己怎么了, 整宿睡不着如果持续时间过长建议看精神科。如果只是短时间失眠要考虑焦虑引起。]]}]2、项目效果
先看项目地址https://github.com/X-D-Lab/MindChat一些放出的例子。 我们也可以在测试地址https://modelscope.cn/studios/X-D-Lab/MindChat/summary中看看 总结
本文主要介绍关注心理领域的几个微调模型包括MeChat心理健康支持对话陪伴大模型、QiaoBan中文儿童情感陪伴大模型“巧板”、灵心SoulChat心理健康大模型以及MindChat漫谈心理大模型共4个同样的从数据构造尤其是其中的多轮构造smile方法、多个主题下的多轮数据QiaoBan、模型效果可以通过文中的链接进行体验、模型基座如新上的baichuan\internLM。
对于一些更为细节的工作以及性能测试大家可以看看其中的参考文献以及对应的项目链接做一些扩展延伸阅读以增进自己的了解。
最后关注心理健康这是个很有趣且永恒的话题大家一起加油。
参考文献
1、https://github.com/qiuhuachuan/smile
2、https://huggingface.co/qiuhuachuan/MeChat
3、https://arxiv.org/pdf/2305.00450.pdf
4、https://github.com/scutcyr/SoulChat
5、https://github.com/X-D-Lab/MindChat
关于我们
老刘刘焕勇NLP 开源爱好者与践行者主页https://liuhuanyong.github.io。
老刘说 NLP将定期发布语言资源、工程实践、技术总结等内容欢迎关注。
对于想加入更优质的知识图谱、事件图谱、大模型 AIGC 实践、相关分享的可关注公众号在后台菜单栏中点击会员社区-会员入群加入。
