千家信息网

如何使用Kaggle顺利进行上传和下载数据

发表于:2024-11-24 作者:千家信息网编辑
千家信息网最后更新 2024年11月24日,如何使用Kaggle顺利进行上传和下载数据,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。自从Kaggle被谷歌收购后,K
千家信息网最后更新 2024年11月24日如何使用Kaggle顺利进行上传和下载数据

如何使用Kaggle顺利进行上传和下载数据,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

自从Kaggle被谷歌收购后,Kaggle上的数据下载和kernel使用到了很多的谷歌应用。与参赛选手强相关的是比赛数据集下载和文件的上传。

如何顺利的上传和下载数据呢,本文将给出三种解决方案。

修改DNS


由于国内运营商网络管控的原因,导致国内访问国外的速度都非常慢,所以在下载Kaggle数据集时可以尝试修改系统DNS。

这里比较推荐以下几个DNS:
  • 谷歌:8.8.8.8,8.8.4.4

  • 韩国:168.126.63.1,168.126.63.2

修改了DNS有可能可以顺利下载数据集了,同时也会加速对Github的访问,但是对国内网页速度会有所下降。


kaggleapi


https://github.com/Kaggle/kaggle-api
KaggleAPI是Kaggle官方提供的API工具,可以用来下载数据、上传数据、提交文件和查看榜单等众多功能,基本上可以代替所有的操作。
KaggleAPI使用非常方便,只需要在本地配置好账户信息:
# 配置文件目录chmod 600 ~/.kaggle/kaggle.json
# 账号配置信息,可以在Kaggle个人界面下载export KAGGLE_USERNAME=datadinosaurexport KAGGLE_KEY=xxxxxxxxxxxxxx
然后就直接可以在命令行界面进行操作了,比如下载一个比赛的数据集:
# 下载比赛数据集kaggle competitions download favorita-grocery-sales-forecasting
# 提交结果文件kaggle competitions submit favorita-grocery-sales-forecasting -f sample_submission_favorita.csv.7z -m "My submission message"
所以KaggleAPI非常适合在服务器下载数据,速度一般比直接浏览器下载快。但是KaggleAPI还是会收到网络限制,


看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注行业资讯频道,感谢您对的支持。

0