教你如何使用 Copilot

分享

其他推荐

+Copilot是微软公司开发的一款基于大型语言模型(LLM)的数据和人工智能(AI)辅助工具,它可以理解和生成各种自然语言和领域的内容。其前身是New Being。有独立网页,也可以在Windows 11上直接调用,未来也会开发APP版本。目前还处于预览阶段,只有部分地区的用户可以使用。

Copilot相关产品及发布时间线概览:

l Windows 中的 Copilot于 2023年9 月 26 日开始通过Windows 11 更新在 Windows 11 上推出。

l Copilot for Microsoft 365于2023年 11 月 1 日开始向企业客户推出,并将在晚些时候向非企业用户推出。

l Copilot for Sales将于 2024 年第一季度推出。

l Copilot for Service将于 2024 年初全面推出。

l Github Copilot是第一个发布的工具,早在 2021 年就发布了。

2023年12月6日凌晨,微软宣布Copilot迎来三大重磅更新,包括新模型、新搜索以及代码解释器,图文能力、代码能力大幅升级。Copilot不仅即将支持OpenAI最新的GPT-4 Turbo模型,还将文生图模型DALL-E 3进行了全面升级,从而提供更高质量、更准确的图像!

图1-Answera创始人保罗·库弗特(Paul Couvert):升级后的Copilot与ChatGPT Plus功能对比图

根据该图,Copilot在某些方面略胜一筹,且免费。

 
1 使用方法

(1)物料准备:

Windows 11版本:更新至23H2版本,操作系统版本22631.2792

图2-系统信息显示

l 区域:设置成非中国大陆地区(暂时不支持中国大陆使用,该设置可以提高成功使用的概率)

图3-国家或地区设置

l 科学上网软件:设置如图

图4-Clash软件设置方式之一

l 必应账号

图5-注册及登陆界面

可能登陆问题以及解决方法:

无法登陆/点击登陆后仍然显示登陆界面/点击登录后白屏:

大概率是国内手机号登陆了必应,可以退出换其他账号尝试或者尝试更换浏览器尝试

(2)打开方法:

l 通过Windows + C唤醒/隐藏Copilot到屏幕右边侧栏;

l 通过任务栏图标打开Copilot到屏幕右边侧栏;

l 通过Edge浏览器打开,网址为https://copilot.microsoft.com/

(2)界面认识

网页版

图6-网页版界面

侧边栏版

图7-侧边栏版界面

Copilot对于三种对话样式优缺点简要说明

 
 
(3)主要功能

(1)系统设置功能

l 输入指令可更改系统设置,例如打开勿扰模式、启用暗黑模式、启动专注时段等;

l 可以启用、禁用、修改其他设置;

l 可以同时打开多个应用,例如启动WORD、打开Microsoft Edge、启动Onenote等

l 截图(在Windows 11上通过打开截图工具完成)

图8-通过Copilot进行多个系统设置

 

(2)多模态功能:

Copilot的多模态功能是指它可以在不同的模态之间进行检索和生成。

案例:假如你是一个不懂英文的人,逛美国大都会艺术博物馆,如何利用Copilot多模态功能帮助你顺利完成行前攻略、逛展过程呢?

l 官网介绍:网页文字信息提取和翻译

指令:“请帮我将该网页英文部分翻译成中文,要求准确清晰,没有事实性错误。”

图9-该网页解析后生成的翻译结果

l 展品英文介绍/路标文字等:识别图片文字信息并翻译,并给出基本信息

指令:“请识别图片英文文字,并翻译成中文。”

图10-该图片识别后生成的翻译结果

l 展品无详细介绍:识别图片生成文字,以介绍图片信息。

指令:“这是美国大都会艺术博物馆的展品,请为我详细介绍这个展品。”

图11-该图片识别后生成的结果,给出事实信息及出处

l 发朋友圈分享:识别图片或文字生成视频脚本/字幕内容/背景音乐/图片

指令:“请根据以上图片内容,生成一段介绍视频,时长不超过3分钟。”

图12-根据指令生成的视频字幕内容和相关图片

(3)利用多模态功能进行翻译的测评:

l图片翻译案例:

资源来源:课件片段

翻译方向:英到中

清晰度:适中

文字密度:小

内嵌图片数量:3

指令(控制变量)
“请将该图片英文内容翻译成中文,要求保持原图片排版和设计,以.jpg格式输出。” “请将该图片英文内容翻译成中文,要求保持原图片排版和设计。” “请将该图片英文内容翻译成中文。”
过程
结果
1) 重复指令,给出无法完成任务的原因(一般为“没有能力…”)2) 提供相关网页搜索链接 1) 重复指令,但与任务完成情况并不相符2) 源语(英文)解释图片内容,但无法以图片格式显示3) 部分文本译文4) 未识别导致漏译Websites/webtext 1) 重复指令2) 源语(英文)解释图片内容,但无法以图片格式显示3) 部分文本译文4) 未识别导致漏译Websites/webtext5)相关链接
用时 56s左右 30s左右 30s左右
分析 1) 图片识别过程会模糊人脸信息(为保护隐私,Copilot不会识别人脸信息,如果要求识别人脸图片,则会得到的回复为:“因为你发送的图片中的人的脸部被模糊了,我无法识别他的身份、性别、种族或者情绪。而且,即使我能识别出他的一些信息,我也不允许描述人的个人细节,因为这可能会侵犯他的隐私或者造成误解。”并给出其他方法);2) 相同图片(清晰度、文字密度、翻译方向、网络条件等相同)的情况下,任务完成耗时长短与指令数量相关;3) 只能识别并翻译文本信息,无法保留源图片文件排版格式,无法保留源文件中其他图片信息,无法以图片格式输出;4) 此次任务中,文字识别率为85.7%,存在漏译现象,“/”符号位置和源文件不同。

除了使用Copilot进行图片翻译, Being还有其他渠道进行图片翻译,步骤包括:

 

  • 打开Bing网站,点击右上角的“翻译”图标,或者直接访问Microsoft Translator

  • 点击左上角的“图片”图标,选择你想要翻译的图片,或者拖拽图片到网页上。

  • 等待图片上传和识别完成,然后选择图片的源语言和目标语言。

  • 点击图片上的任何文本区域,查看翻译结果,或者点击右下角的“显示全部”按钮,查看整个图片的翻译结果。

  • 如果需要,你可以编辑图片上的文本或者翻译结果,或者点击右上角的“下载”按钮,保存翻译后的图片。

 

l网页翻译案例:

资源来源:美国大都会艺术博物馆官网页面

翻译方向:英到中

清晰度:清晰

文字密度:适中

网页内容类型:文字、图片、视频、音频、链接

指令

“请将该网页英文内容翻译成中文。”

“请根据该网页内容形成中文摘要/总结。”(生成结果相同)

结果

1) 重复指令

2) 一两句话简要概括网页主旨

3) 几乎逐字翻译(除英文人名、Primer一词)

4) 尾注及原网页定位

1)  重复指令

2)  四个关键主题词和相关内容总结

用时

4分30秒左右

1分11秒左右

分析

1) 相同网页(清晰度、文字密度、翻译方向、网络条件等相同)的情况下,任务完成耗时长短与任务复杂程度相关;

2) 翻译文本足够清晰,如果任务目的是理解该网页内容,是可以达成的;

3) 总结顺序与源语顺序相同,但多数情况下,总结的方式是提取关键词+翻译原文,与翻译结果类似;

4) 无法区分摘要和总结,因此使其生成学术论文摘要时需要校对是摘要还是总结;

5) 无法针对网页内容进行本地化式的全部翻译,无法保留图片、视频、音频内容。

特别说明:本文仅供学习交流,如有不妥欢迎后台联系小编。

– END –


 

原创来源:北外CAT课程展示-李俊莹-2023

推文编辑:李俊莹

Was it helpful ?

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注