关注公众号

关注公众号

手机扫码查看

手机查看

喜欢作者

打赏方式

微信支付微信支付
支付宝支付支付宝支付
×

MIT要用人工智能帮你做菜:上传美食照片,给你一份菜谱

2021.1.18

  在朋友圈看见美食照片总想自己做一份?MIT来帮忙了。

  MIT的计算机科学及人工智能实验室(CSAIL)本周和卡塔尔计算机研究中心(QCRI)一起训练了一个人工智能系统,名叫Pic2Recipe。给这个系统一张食物照片,它会告诉你该怎么做出来。

  Pic2Recipe能通过食物照片推断出面粉、鸡蛋、黄油等食材,然后从它的数据库中选出几份与图片最相似的菜谱推荐给你。

  据CSAIL团队介绍,因为训练数据集中甜点很多,这个系统尤其“擅长”做曲奇、松饼之类的甜品,而很难教你做卷寿司、奶昔一类的食物,因为通过图片判断食材太难了。

  他们还做了个网页版demo,你也可以亲自试一下:

  http://tuesday.csail.mit.edu:4242/

  要完成这个任务,最大的障碍是没有合适的大规模训练数据集。

  2014年,瑞士的研究人员们建立了一个Food-101数据集,训练出来的系统识别食物的准确率只有50%,后来几经迭代,也只达到了80%的准确率。

  香港城市大学有个比较大的数据集,包含11万张图片和6.5万份菜谱,但是只有中餐。

  于是,CSAIL的团队从All Recipes、Food.com等菜谱网站取材,建立了Recipe1M数据集,其中包含覆盖多种菜系的100万份菜谱,人工标注了其中的食材等信息。

  然后,他们用这个数据集和训练了一个神经网络,让它去建立食物照片和食材、菜谱之间的关联模式。

  不过据TheVerge评价,拉面、薯片、日式烧牛小排这些食物,这个系统一律认不出,汉堡会认成三明治,但是给它一张模糊的蛋糕粉的照片,倒是能给出好几种推荐菜谱。

  关于Pic2Recipe的论文Learning Cross-modal Embeddings for Cooking Recipes and Food Images发表于本周的计算机视觉顶级会议CVPR上。


推荐
关闭