西湖心辰开始研发首个可自助联网的多模态大模型——心辰大模型。 在创始人蓝振忠（Danny）看来，多模态大模型在AI进化演变中是一个必然趋势。去年7月，他就已经确定要做这件事，还曾在企业内部分享：“我们会着力研究大模型技术，并开放给全世界的人去用。因为我们相信，开放、开源会比对抗、闭源更能带来更大的价值，更能让世界变得美好！”ChatGPT浪潮的出现，恰逢心辰团队能够用系统的能力持续深入地部署大模型训练，所以我们决定朝着这个目标加速一把。
2018年，纽约佳士得的拍卖师一锤定音，敲开了AIGC时代的大门；2022年间，AI技术提升到全新的境界，图像生成、文本生成等一系列AIGC应用破圈，正式开启了“AIGC元年”；2023年春节刚过，ChatGPT势不可挡，狂揽上亿用户，AI对话从“狗屁不通”几乎到达了“以假乱真”的地步...AI技术的爆发如一波波狂潮汹涌而来，但不管是图像还是文本方面，中国元素都是缺乏的，AI对中文内容和语境的理解也远远不够。这让我们更想拥有说中国话、画中国画的AI技术。蓝振忠认为：ChatGPT更多的是一种商业或者交互形式上的创新，国内AI创业公司和有名的研究团队应该可以比较快地（半年内）赶上ChatGPT，并且会在后续的版本中逐步拉近和OpenAI的整体性能。 所以，不管是情怀所致，还是时势所驱，我们都要做大模型，而且绝不只是复制出ChatGPT。如何结合中国文化特色打造核心技术并经受住市场考验，才是心辰和国内同行们都需要深思的事情。
基于以上思考，心辰大模型在设计之初，就开启了很多不同于其他模型的尝试与创新。蓝振忠对未来人工智能的预想，是像电影《Her》里面的萨曼莎一样，能同时掌握文字、图像、语音等多个模态的能力。 蓝振忠本身作为多模态研究者，博士研究方向就是计算机视觉与多媒体分析，加之2018年进入谷歌 AI 与机器智能组从事自然语言处理（NLP）研究的经历，使得他同时具备语言大模型与视觉模型训练的专业能力，这也奠定了西湖心辰多模态产品的研发基因。
心辰大模型已经初具多模态大模型的姿态，在与产品demo的对话中，你可以让它生成图像，也可以让它智能处理图像。一年前，ChatGPT还未爆火，心辰已经在文本与图像两个模态上同时发力，在积累了超过百万的用户的同时，收集到了大量的数据以完成数据飞轮的启动。从这点上看，在创造多模态大模型上，心辰称作国内的AIGC领跑者也不为过。
另外，心辰大模型已经拥有支持自助上网的AI系统。基于自助联网这项功能，心辰大模型可以实时更新网络数据和知识。比如向我们的产品demo提问最近发生的热点事件：「马斯克什么时候收购了Twitter？」、「美团联合创始人王慧文，最近做了什么？」等等，它都能对答如流。
在“AIGC”这个概念还未产生的两年前，心辰就落地过垂直于心理领域的AI聊天机器人——“小天”，并完成了几十万量级的对话次数。基于之前的技术和数据积累，心辰大模型将能够在各种特定主题或领域内提供高质量响应。虽然在实现多模态大模型的应用过程中必定充满未知和挑战，但心辰在各个方面都做好了应对的准备。
多模态大模型具备处理多种模态数据的能力，可以将不同模态的信息进行结合，提升数据处理和分析的效率和准确性。实现心辰大模型工程化落地，可以利用其多种能力，与各行各业进行深度结合，帮助不同行业实现更高效、更智能的数据处理和业务决策。如：将自然语言理解和生成能力能运用于自然语言交互、智能答疑、智能教育中；将图像识别和处理能力可以与计算机视觉、医疗影像、智能制造等领域结合，实现智能分析、智能诊断、智能制造等功能；也可以将不同模态的数据进行融合，提升数据处理和分析的效率和准确性，并与金融风控、医疗诊断、智能交通等领域结合，实现多模态数据分析、多模态智能决策等功能。
除了大模型的工程化落地外，我们认为大规模语言模型，不是大模型的终点。
语言大模型被证明在文本生成和自然语言理解等任务上表现出色，但如何将其扩展到多模态任务（例如图像、音频和视频等）是一个还值得深入研究的新领域，我们会尝试运用联合训练、微调预训练模型、多任务学习、交替训练和融合模型等多种方法进行多模态学习，以提高心辰大模型的性能和泛化能力。在联网方面，心辰大模型也还有很大的想象空间。通过联网，心辰大模型可以获取数据、实时更新、进行更复杂的计算和推理。所以为了发挥联网的最大效益，我们会通过增加对多语言的支持、提高模型的性能、加强数据安全和隐私保护、开发更加智能化的应用等方式来优化心辰大模型的联网功能。
心辰大模型也会与西湖大学产学研项目结合，共同推进AI技术的发展和应用。高性能计算集群、先进的实验设备，和优秀的科学家、工程师和技术人才，西湖大学为我们提供的这些宝贵的算力和智力资源，将会给我们的研究带来更多的机遇和发展空间。
时至今日，多模态大模型发展已经跨越了某个重要的阈值，尤其是从AI绘画在2022年取得的技术突破以来，整个多模态大模型领域的技术革新甚至是以“天”来计算的。
心辰AI的多模态应用也在这个时期内表现不俗，不论在个体用户还是企业级客户的服务上，都向市场交出了不错的答卷。当然我们也清醒的意识到，从用户角度来讲，多模态大模型可以被感知和评估的效果更多地表现在知识基础和表达能力方面，这也是为什么ChatGPT在风靡全球后，绝大多数用户都在讨论生成结果的真实性和准确性，这意味着我们需要深度理解用户在不同场景下的使用体验和习惯，进而通过AI去推理和生成。未来心辰大模型会更加专注于用户和市场层面，努力地去追求更精湛的技术高度和更亲民的应用落地。不仅仅是为了创造一个可自助联网的多模态大模型，更是为了进一步推进人工智能技术不断探索创新，引领未来。