人民看点2024年10月11日发布:两个开源AI项目又火了!
⭐发布日期:2024年10月11日 | 来源:人民看点
【澳门三肖三码期期准资料大全开奖结果今晚】 |
【新澳门内部一码精准公开】 |
【新澳历史记录查询结果】 | 【王中王最准一肖一码一过】 | 【管家婆一码一肖资料最新开奖记录】 | 【2024澳门天天彩免费正版资料】 | 【香港王中王一肖一中一特一中】 | 【2024新澳今晚资料】 | 【二四六天天免费资料门图讯最快开开奖记录查询】 | 【澳门一肖一码100%精准一开奖结果记录】 |
【澳门天天彩期期精准开奖结果查询】 | 【澳门正版资料大全免费网】 | 【香港期期准资料大全免费】 | 【澳门管家婆一码一肖中特】 | 【澳门天天澳门直播】 | 【2024年澳门资料免费大全】 | 【2024澳门免费精准资料74期开奖历史记录】 | 【澳门王中王100开奖结果记录】 |
给大家介绍两个最近开源的AI项目:Cradle和LivePortrait。
Cradle:迄今为止第一个既能玩多种商业游戏又能操作各种软件应用的AI框架。
LivePortrait:可控人像视频生成AI框架,能够准确、实时地将驱动视频的表情、姿态迁移到静态或动态人像视频上,生成极具表现力的视频结果。
Cradle
近日,昆仑万维与北京智源人工智能研究院、新加坡南洋理工大学以及北京大学等知名学术机构合作,共同推出了一个名为Cradle的创新AI框架。
该框架的独特之处在于,它允许AI以一种新颖的方式与游戏和软件进行交互,无需事先的训练过程,直接使用键盘和鼠标操作,类似于人类用户,而且在不依赖于特定应用程序接口(API)的情况下,与广泛的开源和闭源应用程序进行有效沟通。
Cradle的框架实现大致分为以下几个步骤:
- 信息收集:Cradle从视频片段中提取所有有用的视觉和文本信息(包括布局、图像、动画和UI元素等),以便理解当前情况并进行进一步推理。同时,通过OCR技术提取图像中的文本信息,包括内容(标题和段落)、导航标签(菜单和链接)、通知和指示等。
- 技能和动作生成:Cradle利用LMM生成代码函数作为语义级别的技能,这些技能封装了较低级别的键盘和鼠标控制,将LMM生成的语义动作与操作系统级别的可执行动作连接起来。类似于人类在游戏中的逐步提高,这些技能可以根据游戏教程、指南、游戏手册和设置获得,也可以是自我成长。这些技能也可以预定义或组合以解决更复杂的任务。
- 动作执行:在Cradle生成动作并决定在环境中执行后,将触发执行器将这些语义动作映射为操作系统级别的键盘和鼠标命令,以与环境进行交互。
目前Cradle已经可以在应用和游戏领域取得非常优秀的表现。包括能够操作日常软件,如Chrome、Outlook和飞书等;以及跟随游戏《荒野大镖客2》、《都市:天际线》等剧情游玩。
这一框架标志着AI领域的一项重要进展,尽管尚处于早期发展阶段,但它已经展示了AI与人类交互方式的潜在转变。从提升游戏体验到优化办公效率,Cradle为AI的实用性和普及性开辟了新的道路。
项目地址:https://github.com/baai-agents/cradle
LivePortrait
近日,快手和复旦大学、中科大共同研发的LivePortrait开源了。
这同样是一款图生视频的大模型,只需提供一张正脸照、一段视频,照片上的人物就会栩栩如生的模仿视频中的表情了。
LivePortrait可以用指定驱动视频对指定人脸进行驱动,从而实现多人合照驱动。
甚至在动物数据集上微调后,对动物肖像也可进行精准驱动,让小动物们模仿人的表情!
项目的部署非常简单:
- 首先克隆仓库,使用conda创建虚拟环境,安装所需的依赖项和FFmpeg。
- 然后下载模型的权重文件,放到相应的目录,通过脚本运行即可。
项目地址:https://github.com/KwaiVGI/LivePortrait
在线体验:https://huggingface.co/spaces/KwaiVGI/LivePortrait返回搜狐,查看更多
责任编辑:
【澳码精准资料天天免费开奖结果】 【新澳2024年精准资料期期】 |
【澳门最快最准资料大全下载地址】 【2024一肖一码100精准大全】 |
【今晚澳门必中一肖一码适囗务目开奖结果查询】 【管家婆一肖一码必中一肖】 |
【2024澳门资料免费大全】 【澳门三期内必中特期期准】 |
【2024新澳免费资料澳门钱庄】 【新澳结果资料查询29期】 |
【管家婆一码中一肖2014开奖记录今晚】 【新澳门资料大全正版资料?奥利奥开奖记录查询】 【王中王最准一肖一码一03807开奖结果记录】 |
发表评论
马修·马什
7秒前:包括能够操作日常软件,如Chrome、Outlook和飞书等;以及跟随游戏《荒野大镖客2》、《都市:天际线》等剧情游玩。
IP:84.87.5.*
孙俪
5秒前:甚至在动物数据集上微调后,对动物肖像也可进行精准驱动,让小动物们模仿人的表情!
IP:95.78.1.*
朴孝敏
1秒前:com/KwaiVGI/LivePortrait在线体验:https://huggingface.
IP:33.57.5.*