Copilot相关产品及发布时间线概览：
l Windows 中的 Copilot于 2023年9 月 26 日开始通过Windows 11 更新在 Windows 11 上推出。
l Copilot for Microsoft 365于2023年 11 月 1 日开始向企业客户推出，并将在晚些时候向非企业用户推出。
l Copilot for Sales将于 2024 年第一季度推出。
l Copilot for Service将于 2024 年初全面推出。
l Github Copilot是第一个发布的工具，早在 2021 年就发布了。
2023年12月6日凌晨，微软宣布Copilot迎来三大重磅更新，包括新模型、新搜索以及代码解释器，图文能力、代码能力大幅升级。Copilot不仅即将支持OpenAI最新的GPT-4 Turbo模型，还将文生图模型DALL-E 3进行了全面升级，从而提供更高质量、更准确的图像！
图1-Answera创始人保罗·库弗特（Paul Couvert）：升级后的Copilot与ChatGPT Plus功能对比图
根据该图，Copilot在某些方面略胜一筹，且免费。
（1）物料准备：
l Windows 11版本：更新至23H2版本，操作系统版本22631.2792
图2-系统信息显示
l 区域：设置成非中国大陆地区（暂时不支持中国大陆使用，该设置可以提高成功使用的概率）
图3-国家或地区设置
图4-Clash软件设置方式之一
l 必应账号
图5-注册及登陆界面
可能登陆问题以及解决方法：
无法登陆/点击登陆后仍然显示登陆界面/点击登录后白屏：
大概率是国内手机号登陆了必应，可以退出换其他账号尝试或者尝试更换浏览器尝试
（2）打开方法：
l 通过Windows + C唤醒/隐藏Copilot到屏幕右边侧栏；
l 通过任务栏图标打开Copilot到屏幕右边侧栏；
l 通过Edge浏览器打开，网址为https://copilot.microsoft.com/
网页版
图6-网页版界面
侧边栏版
图7-侧边栏版界面
Copilot对于三种对话样式优缺点简要说明
（1）系统设置功能
l 输入指令可更改系统设置，例如打开勿扰模式、启用暗黑模式、启动专注时段等；
l 可以启用、禁用、修改其他设置；
l 可以同时打开多个应用，例如启动WORD、打开Microsoft Edge、启动Onenote等
l 截图（在Windows 11上通过打开截图工具完成）
图8-通过Copilot进行多个系统设置
（2）多模态功能：
Copilot的多模态功能是指它可以在不同的模态之间进行检索和生成。
案例：假如你是一个不懂英文的人，逛美国大都会艺术博物馆，如何利用Copilot多模态功能帮助你顺利完成行前攻略、逛展过程呢？
l 官网介绍：网页文字信息提取和翻译
指令：“请帮我将该网页英文部分翻译成中文，要求准确清晰，没有事实性错误。”
图9-该网页解析后生成的翻译结果
l 展品英文介绍/路标文字等：识别图片文字信息并翻译，并给出基本信息
指令：“请识别图片英文文字，并翻译成中文。”
图10-该图片识别后生成的翻译结果
l 展品无详细介绍：识别图片生成文字，以介绍图片信息。
指令：“这是美国大都会艺术博物馆的展品，请为我详细介绍这个展品。”
图11-该图片识别后生成的结果，给出事实信息及出处
l 发朋友圈分享：识别图片或文字生成视频脚本/字幕内容/背景音乐/图片
指令：“请根据以上图片内容，生成一段介绍视频，时长不超过3分钟。”
图12-根据指令生成的视频字幕内容和相关图片
（3）利用多模态功能进行翻译的测评：
l图片翻译案例：
资源来源：课件片段
翻译方向：英到中
清晰度：适中
文字密度：小
内嵌图片数量：3
| 指令（控制变量） |  |
 |
 |
| “请将该图片英文内容翻译成中文，要求保持原图片排版和设计，以.jpg格式输出。” | “请将该图片英文内容翻译成中文，要求保持原图片排版和设计。” | “请将该图片英文内容翻译成中文。” | |
| 过程 |  |
|
 |
| 结果 |  |
 |
 |
| 1) 重复指令，给出无法完成任务的原因（一般为“没有能力…”）2) 提供相关网页搜索链接 | 1) 重复指令，但与任务完成情况并不相符2) 源语（英文）解释图片内容，但无法以图片格式显示3) 部分文本译文4) 未识别导致漏译Websites/webtext | 1) 重复指令2) 源语（英文）解释图片内容，但无法以图片格式显示3) 部分文本译文4) 未识别导致漏译Websites/webtext5）相关链接 | |
| 用时 | 56s左右 | 30s左右 | 30s左右 |
| 分析 | 1) 图片识别过程会模糊人脸信息（为保护隐私，Copilot不会识别人脸信息，如果要求识别人脸图片，则会得到的回复为：“因为你发送的图片中的人的脸部被模糊了，我无法识别他的身份、性别、种族或者情绪。而且，即使我能识别出他的一些信息，我也不允许描述人的个人细节，因为这可能会侵犯他的隐私或者造成误解。”并给出其他方法）；2) 相同图片（清晰度、文字密度、翻译方向、网络条件等相同）的情况下，任务完成耗时长短与指令数量相关；3) 只能识别并翻译文本信息，无法保留源图片文件排版格式，无法保留源文件中其他图片信息，无法以图片格式输出；4) 此次任务中，文字识别率为85.7%，存在漏译现象，“/”符号位置和源文件不同。 | ||
除了使用Copilot进行图片翻译, Being还有其他渠道进行图片翻译，步骤包括：
-
打开Bing网站，点击右上角的“翻译”图标，或者直接访问Microsoft Translator。
-
点击左上角的“图片”图标，选择你想要翻译的图片，或者拖拽图片到网页上。
-
等待图片上传和识别完成，然后选择图片的源语言和目标语言。
-
点击图片上的任何文本区域，查看翻译结果，或者点击右下角的“显示全部”按钮，查看整个图片的翻译结果。
-
如果需要，你可以编辑图片上的文本或者翻译结果，或者点击右上角的“下载”按钮，保存翻译后的图片。
l网页翻译案例：
资源来源：美国大都会艺术博物馆官网页面
翻译方向：英到中
清晰度：清晰
文字密度：适中
网页内容类型：文字、图片、视频、音频、链接
|
指令 |
 |
|
|
“请将该网页英文内容翻译成中文。” |
“请根据该网页内容形成中文摘要/总结。”（生成结果相同） |
|
|
结果 |
|
|
|
1） 重复指令 2） 一两句话简要概括网页主旨 3） 几乎逐字翻译（除英文人名、Primer一词） 4） 尾注及原网页定位 |
1） 重复指令 2） 四个关键主题词和相关内容总结 |
|
|
用时 |
4分30秒左右 |
1分11秒左右 |
|
分析 |
1） 相同网页（清晰度、文字密度、翻译方向、网络条件等相同）的情况下，任务完成耗时长短与任务复杂程度相关； 2） 翻译文本足够清晰，如果任务目的是理解该网页内容，是可以达成的； 3） 总结顺序与源语顺序相同，但多数情况下，总结的方式是提取关键词+翻译原文，与翻译结果类似； 4） 无法区分摘要和总结，因此使其生成学术论文摘要时需要校对是摘要还是总结； 5） 无法针对网页内容进行本地化式的全部翻译，无法保留图片、视频、音频内容。 |
|
特别说明：本文仅供学习交流，如有不妥欢迎后台联系小编。
– END –
原创来源：北外CAT课程展示-李俊莹-2023
推文编辑：李俊莹
