大数据应用

其他

每个数据科学家都应该知道的12个Python特性!

今日份知识你摄入了么?图片来源:carbon作为一名数据科学家,你对Python的强大功能并不陌生。从数据整理到机器学习,Python已成为数据科学事实上的语言。但是你是否利用了Python提供的所有特性?在本文中,我们将深入探讨每个数据科学家都应该了解的12个Python特性。从推导式到数据类,这些特性将帮助你编写更高效、可读且可维护的代码。01推导Python中的推导式是机器学习和数据科学任务的有用工具,因为它们允许以简洁且可读的方式创建复杂的数据结构。列表推导式可用于生成数据列表,例如从一系列数字中创建平方值列表。嵌套列表推导式可用于平面化多维数组,这是数据科学中常见的预处理任务。#
2023年7月27日
其他

ChatGPT+Tableau=AI天造地设的一对!

今日份知识你摄入了么?嘿!你准备好踏上激动人心的旅程,将ChatGPT的强大功能与Tableau世界融为一体吗?让我们开始吧!我们的目标:将ChatGPT集成到Tableau中作为年轻人,我们知道处理海量数据的艰辛,但我们渴望隐藏在数据中的智慧。Tableau帮助我们将这些数据可视化,但如果我们可以引入ChatGPT的对话能力,使其更具互动性和乐趣,结果会怎样呢?这就是我们今天的任务!步骤1:与TabPy交朋友为了帮助ChatGPT和Tableau进行通信,我们需要一个中介,这就是TabPy的用武之地。TabPy是一个Python库,允许我们在Tableau中执行Python脚本。安装和设置方法如下:1.1通过打开命令提示符或终端并输入以下内容来安装TabPy:1.2通过运行以下命令启动TabPy服务器:步骤2:OpenAI包——敲一敲,看谁在那儿!要在Python脚本中使用ChatGPT,我们需要OpenAI
2023年7月21日
其他

50多次ML面试(作为面试官)教会了我什么?

今日份知识你摄入了么?作为面试官,无论结果如何,能做些什么给求职者留下积极的印象?图片来源:charlesdeluvio如果你觉得面对技术面试很困难,那就试着去进行面试。我说的不是那些难以对付的面试官,他们给你留下了严厉的印象,在你希望痛苦结束的时候,他们居高临下地看着你,我说的是那些给你留下积极印象的面试官。面试是一项巨大的责任,你是一个人职业生涯的看门人。所以你必须尽你所能,尽可能公正地对待他们。我要提到的所有要点都围绕着一个核心价值观:共情!如果你已经掌握了共情能力,你可能甚至不需要读这篇文章。我在这里所说的一切都是我个人的想法和意见,并不代表我雇主的观点。我是一名机器学习工程师,我所谈论的是技术或编程面试。读完这篇文章,你(希望)能学到一些经验,让你成为一个更好的面试官,给候选人留下积极持久的印象(不管结果如何)。表现出良好的语言和工具技术知识边思考边解决问题友好合作合作重于审查图片来源:Mitchell
2023年7月20日
其他

AI的未来:揭示GPT-5和OpenAI学院的潜力

今日份知识你摄入了么?毫无疑问,我们正生活在一个令人难忘的时代。每天甚至每小时都有变化、更新和创新。跟上这些技术的步伐变得越来越困难。现在要抓住这些创新,你必须选择一个阵营,我的阵营是数据科学和ChatGPT。在开始讨论ChatGPT
2023年7月19日
其他

探索Python强大引擎:将数据可视化提升到新高度的10个库

今日份知识你摄入了么?凭借十多年的数据分析和可视化经验,我遇到了许多工具和技术,使这个过程既高效又迷人。在这篇博客中,我想与你分享10个在数据可视化方面优于竞争对手的Python库。01Plotly:前所未有的交互式可视化当谈到创建交互式和令人惊叹的可视化时,我相信Plotly是首选库。凭借其直观的界面和丰富的功能,我认为Plotly使数据分析师和可视化爱好者能够将他们的数据带入生活。下面是我使用Plotly创建交互式条形图的方法:import
2023年7月18日
其他

迎战秋招,数据科学家求职训练营限量半价!!!

数据应用学院求职训练营近期开营啦随着疫情影响的退去,2023年美国就业市场上的机会在显著增加,每周都有3000以上的新增数据岗位,现在正是转行和换工作的最佳时期。在这种大环境下,越来越多的求职者转行数据科学家以及相关的岗位。根据2023年6月Glassdoor的结果显示,硅谷数据科学家平均起薪为$155,594美元,而最高起薪约为24.3万美元。而在
2023年7月14日
其他

你需要早点知道的Jupyter Notebook提示和技巧

Notebook支持“魔术命令”,这些命令是用于常见任务的快捷方式,例如计时代码执行或列出可用的变量。例如,为了计时一个代码单元的执行时间,你可以使用“%timeit”魔术命令。%timeit
2023年7月13日
其他

GPT-4的秘密被揭晓了!

今日份知识你摄入了么?GPT-4是历史上最受期待的AI模型。然而,当OpenAI三月份发布它时,他们没有告诉我们任何有关其大小、数据、内部结构或他们如何训练和构建它的信息。一个真正的黑匣子。事实证明,他们并没有隐藏这些关键细节,因为模型太创新,或者架构太复杂而无法共享。如果我们相信最新的谣言,事实似乎恰恰相反:从技术和科学的角度来说,GPT-4算不上什么突破。这并不一定是坏事——毕竟,GPT-4是现有最好的语言模型——只是……有点平庸。这并不是人们在等待了三年之后所期待的。这一消息尚未得到官方证实,它揭示了有关GPT-4和OpenAI的重要见解,并提出了有关AI真正的先进技术及其未来的问题。GPT-4:小型模型的混合6月20日,自动驾驶初创公司Comma.ai创始人George
2023年7月12日
其他

Notion AI与ChatGPT:为什么我选择 ChatGPT Plus

AI使用这种功能将文本转换为可操作的任务时,ChatGPT利用它来生成更具上下文相关性和吸引力的对话。在ChatGPT中,可以通过在现有对话框中插入另一个提示来“添加”上下文。在Notion
2023年7月7日
其他

2023年数据科学路线图

今日份知识你摄入了么?抓住机会:获得梦想的数据科学工作。你是否对数据科学世界感兴趣并渴望加入这些炙手可热的专业人士的行列?你很幸运!在这篇文章中,我们将探讨你在2023年开启数据科学职业生涯可以采取的步骤,重点介绍可帮助你取得成功的最新趋势和可用资源,让我们深入了解吧!从基础开始在深入研究数据科学的更高级方面之前,必须具备坚实的基础知识。以下是你应该关注的重点:数学和统计学:对线性代数、微积分、概率和统计学的深刻理解对于任何有抱负的数据科学家来说都是至关重要的。编程:学习数据科学中常用的编程语言,例如Python或R。熟悉NumPy、pandas和scikit-learn(对于Python)或dplyr和ggplot2(对于R)等基本库。数据操作和可视化:获得使用Excel、Tableau或PowerBI等工具进行数据清理、预处理和可视化数据的技能。扩展知识:机器学习和人工智能一旦掌握了基础知识,就可以探索更高级的主题,例如机器学习和人工智能。以下是一些可帮助你入门的资源:在线课程:Coursera、Udacity和edX等平台提供由顶尖大学和公司的专家教授的全面机器学习和人工智能课程。书籍:考虑阅读流行书籍,例如Christopher
2023年6月30日
其他

生成式人工智能的真正赢家!

今日份知识你摄入了么?近几个月来,开源(OS)生成式人工智能的进展迅猛(尤其是语言模型,LM)。根据谷歌泄露的内部文件,人们认为它已经成为对谷歌和微软等现有公司以及OpenAI和Anthropic等领先实验室的威胁(https://www.semianalysis.com/p/google-we-have-no-moat-and-neither)。我认为,当我这么说时,我代表了大多数人。抛开开源人工智能系统可能会加剧风险不谈,我们喜欢这个想法,OS具有很强的积极内涵。并不是人们不喜欢大型科技公司,而是喜欢有机会超越强者。以下故事讲述了这种预期胜利的感觉是如何产生的,以及为什么这是错误的:OS
2023年6月29日
其他

我在网上发现的最有趣的AI应用

今日份知识你摄入了么?用Midjourney创建的图像自从ChatGPT发布以来,人们一直在使用AI工具,不仅是为了提高生产力,而且为了乐趣。也许AI研究实验室从未为我们即将看到的案例创造出诸如Stable
2023年6月28日
其他

如何零经验找到一份数据科学工作?

今日份知识你摄入了么?缺乏经验并不意味着你不能在数据科学领域找到工作,即使数据科学的就业市场竞争非常激烈。普遍的情况是,即使是初级职位,雇主也在寻找经验丰富的候选人。毫无疑问,由于以下因素,未来五年或十年对数据科学家的需求非常高。通过智能设备产生的大量数据以低价提供的计算资源,特别是云计算开发复杂算法,如GANs开源数据科学框架图片来自Pixabay,作者:Arek
2023年6月27日
自由知乎 自由微博
其他

如何用ChatGPT和Tableau将数据转化为可视化图表?

今日份知识你摄入了么?当你试图理解大量数据时,你是不是感觉不知所措?你并不孤单!因为我也有过这样的经历,所以我找到一个解决方案,在本文中和大家分享一下。今天就来谈谈我是如何使用ChatGPT和Tableau创建美丽而有意义的可视化图表的!拿一杯咖啡,我们开始吧!为什么我认为数据可视化很重要?它可以帮助我们更容易地理解和解释数据。作为人类,当信息以视觉形式呈现时,可以更好地处理信息。根据麻省理工学院的一项研究,人类大脑处理视觉信息的速度比处理文本快6万倍。这就是为什么当我必须根据数据做出决定时,我总是更喜欢以可视化的形式看到它,它可以帮我识别模式、趋势和异常值。此外,数据可视化有助于将数据传达给更广泛的受众。正如爱因斯坦曾经说过的,“如果你不能简单地解释它,那你就不够了解它。”通过创建可视化,我们可以以简单直观的方式解释复杂的数据,让没有技术背景的人也可以访问它。我想分享的一个个人建议是,在创建可视化时始终牢记你的受众。问问你自己,谁是你的目标受众?他们的需求和目标是什么?你想传达什么信息?通过这样做,你可以创建不仅美观而且有意义和有影响力的可视化效果。我认为ChatGPT和Tableau有什么帮助?ChatGPT是一种人工智能语言模型,可以对用户输入生成自然语言响应。Tableau是一个数据可视化工具,使用户能够创建交互式和美观的可视化图表。这是我要做的:第一步:我将使用ChatGPT生成数据摘要。这可以帮我快速了解数据,并确定任何重要的模式或趋势。第二步:我将使用Tableau创建一个可视化。我可以使用ChatGPT提供可视化的描述,并解释我在数据中看到的任何趋势或模式。第三步:我将ChatGPT与Tableau集成,使可视化具有交互性。例如,我可以使用ChatGPT来回答有关数据的问题或提供额外的见解。通过使用ChatGPT和Tableau,我可以创建可视化,不仅看起来很棒,而且还为我的受众提供有价值的见解。代码片段和工具对比表以下是一些代码片段,可以帮助你开始将ChatGPT与Tableau集成。使用ChatGPT生成数据摘要的Python代码import
2023年6月22日
其他

前端工程师面试的五大注意事项

前端开发人员有一项至关重要的工作:他们必须确保网站所有面向用户的部分都能完美地工作。这也是一项不断发展的工作,所以前端开发人员的面试准备也变得更加困难。前端开发人员参与了影响桌面和移动网站和应用程序导航、布局和设计元素的所有工作。这意味着他们必须精通HTML、CSS和JavaScript。此外,他们还必须具备良好的“软技能”,如沟通和团队合作,因为他们经常与后端开发人员、设计师和其他人一起在多学科团队中工作。Lightcast收集并分析了来自全国各地的数百万份招聘启事,根据该公司的数据,以下技能经常出现在前端开发人员的职位空缺中:JavaScript前端开发软件工程React
2023年6月17日
其他

Python:释放效率——轻松简化你的日常工作!

今日份知识你摄入了么?Hi,我是Gabe,我热衷于向大家传授Python和机器学习知识。在今天的文章中,我想和大家分享一些我使用Python来简化日常工作的方法。从自动化重复流程到简化数据分析,Python一直是我提高效率和生产力的首选工具。第1部分自动化繁琐的任务你是否曾经发现自己在执行重复性任务而占用宝贵的时间?我知道我有,这就是Python来拯救的地方!凭借其广泛的库和强大的脚本功能,Python可以自动执行这些单调的任务,让你有更多时间专注于真正重要的事情。我如何使用Python自动执行任务的一个示例是当我需要重命名目录中的大量文件时,我没有一个一个地手动重命名每个文件,而是编写了一个使用os模块的简单Python脚本。该脚本扫描目录,识别具有特定模式的文件,并系统地重命名它们。过去需要数小时的工作现在只需几秒钟即可完成!import
2023年6月16日
其他

Noteable:自动进行数据分析的ChatGPT插件

图片由Shutterstock授权Noteable是插件商店中提供的一个新的ChatGPT插件,它可以帮助我们在几秒钟内完成数据分析!你只需要使用我将在本文中向你展示的代码就可以开始使用这个插件。
2023年6月15日
其他

Microsoft Fabric对Power BI的影响如何?

这是一种支持每种Fabric体验的计费单元。在一个透明、简化的定价模型中为所有数据工具付费,节省了可以分配给其他业务或技术需求的时间。Fabric
2023年6月14日
其他

谷歌、Meta和亚马逊的下一个前沿领域:AI生成广告

今日份知识你摄入了么?据CNBC报道,谷歌计划利用人工智能帮公司制作广告。该媒体看到的谷歌内部文件表明,谷歌希望使用其新的PaLM2人工智能语言模型来帮助广告商生成广告。这与英国《金融时报》(Financial
2023年6月13日
其他

Power BI vs Tableau:数据可视化工具选哪个?

今日份知识你摄入了么?数据可视化工具已经成为企业有效管理和分析数据不可或缺的工具。这些工具旨在帮助解决一些最常见的数据问题,如数据过载、数据不准确、电子表格不可读、数据孤岛和缺乏洞察力。在这篇文章中,我们将探讨一些最流行的数据可视化工具,以及它们提供的帮助解决这些数据问题的特定功能。Tableau:Tableau可以处理数据过载,将大量数据转换成视觉上吸引人的图形、图表和仪表板。它的高级过滤和数据聚合功能允许企业快速识别其数据中的模式和趋势,从而做出更好的决策。PowerBI:PowerBI可以处理不清确的数据,并以可视化的形式呈现,使发现数据的错误和不一致变得容易。其先进的数据清理和数据转换功能使企业能够快速识别和纠正数据中的任何不准确之处。QlikView:QlikView可以处理不可读的电子表格,将复杂的数据转换成交互式的、视觉上吸引人的图形、图表和仪表板。其先进的数据建模和数据分析功能使企业能够快速了解其数据并做出明智的决策。Looker:Looker通过集成来自多个来源的数据并以统一的格式呈现数据,可以帮助企业处理数据孤岛。其先进的数据仓库和数据治理功能允许企业基于完整而准确的数据视图做出数据驱动的决策。Data
2023年6月9日
其他

我曾尝试84个ChatGPT插件,哪些值得推荐?

今日份知识你摄入了么?幸运的是,我们可以把插件应用于ChatGPT上。以下是插件商店中的最优推荐。图片来自Pexels,作者Matheus
2023年6月8日
其他

成为更好的数据分析师的5个习惯!

今日份知识你摄入了么?数据分析的世界不断壮大,想要立于潮头变得越来越难。不管你是一名经验丰富的数据分析师,或只是个小白,培养好习惯都能帮助你在这个领域取得优异成绩。在这篇文章中,我会提到五个好习惯,让你成为一名更好的数据分析师,在这个不断发展的行业中取得成功。1.学无止境对这个世界保持好奇,把发展现状刻在心中。数据分析领域不断发展变化,新的工具、技术和方法不断更迭。要想在这个领域站得住脚,始终把自己的工作干好,你需要明白,学无止境。养成定期阅读行业博客、参加网络研讨会和论坛的习惯,以了解最新行情。专业至上可以选择听一些课程,参与一些研讨会,或去考一些专业证书,以夯实基础,拓展技能。比如说,Coursera和Udacity等在线平台就提供了各种数据分析课程,让你可以按照自己的节奏提升自己的专业技能。2.学好数据可视化用数据讲述好故事数据可视化是所有数据分析员必不可少的技能。让数据可视化,既有视觉冲击力,又便于理解,可以帮助利益相关者理解复杂概念,做出正确决策。养成使用Tableau、Power
2023年6月7日
其他

美国教育部分享对人工智能的见解和建议

今日份知识你摄入了么?新的政策报告是拜登-哈里斯政府推进人工智能综合方法的持续工作的一部分,总结了人工智能在教学、学习和评估方面的机遇和风险。近期,美国教育部教育技术办公室(OET)发布了一份新报告《人工智能(AI)与教学和学习的未来:见解和建议》,该报告根据公众意见总结了人工智能在教学、学习、研究和评估方面的机遇和风险。这份报告是拜登-哈里斯政府持续努力的一部分,旨在推进一种连贯和全面的方法,以应对与人工智能相关的机遇和风险。这份新报告明确指出,需要分享知识,让教育工作者和社区参与进来,完善人工智能在教育中应用的技术计划和政策。它认为人工智能是一套快速发展的技术,可以实现教育工作者和学生之间的新形式的互动,帮助教育工作者解决学习中的可变性,增加反馈循环。它还概述了与人工智能相关的风险,包括算法偏见,以及信任、安全以及对教育工作者和学生的保护措施的重要性。报告建议教育部继续与各州、高等教育机构、学区和其他合作伙伴合作,采取以下步骤:强调Humans-in-the-Loop将人工智能模型与共同的教育愿景结合起来使用现代学习原则设计AI优先加强信任告知和参与教育工作者将研发重点放在解决环境问题上,增强信任和安全制定针对教育的指导方针和保障措施为了收集信息并形成见解,OET与全球非营利组织Digital
2023年6月6日
其他

北京发布web3创新发展白皮书

(CCTV)播出了一段关于加密货币的片段,该片段以比特币标识为特色,据赵长鹏说,这是一件“大事”,因为“从历史上看,像这样的报道会导致牛市。”该片段的特色似乎是香港的比特币
2023年6月3日
其他

优化SQL查询的10大技巧!

今日份知识你摄入了么?嘿!我们来讨论一下如何优化SQL查询吧!如果你在使用数据库,你一定知道优化查询对提高执行速度、增强数据库性能的重要性。但你要如何做呢?以下是我所整理的优化SQL查询的10大技巧,包括示例代码和用例。一起来看吧!技巧1:使用EXPLAIN(解释)了解查询的执行在开始优化之前,你需要了解查询是如何执行的。这就是其作用所在。它向你显示查询的执行计划,包括使用的表、操作顺序和使用的任何索引。EXPLAIN
2023年6月2日
其他

数据科学之统计:终极指南

今日份知识你摄入了么?欢迎观看数据科学统计终极指南!当我们深入数据分析这个诱人的领域时,你会发现,统计发挥着关键作用,它可以从原始数据中爬取到有意义的见解。这份全面的指南涵盖了从统计基础到高级机器学习技术的所有内容。所以,系好安全带,准备好进入数据科学领域,开始激动人心的旅程吧!图片来自Unsplash,作者Markus
2023年6月1日
其他

用ChatGPT,当最棒的数据科学家!

今日份知识你摄入了么?厌倦了参加枯燥的课程吗?是时候做出改变了!借助ChatGPT的强大功能,你可以轻松超越许多数据科学家。相信我,这不是开玩笑。图片来自作者想一想,大公司也开始在面试中测试ChatGPT技能了!自从它发布以来,我每天都在使用它,它的能力一直都让我觉得不可思议——尤其是在数据科学领域。这给我了极大便利,因为作为一名内容创作者,我还与一家培训数据科学技能的公司有着合作。如何成为一名“ChatGPT”式数据科学家?我们知道,数据科学是一个跨学科的领域,如网页爬取、数据探索、机器学习和数据可视化。但他们都和代码有关,这也就是为什么ChatGPT和数据科学扯上了关系。当然,ChatGPT有许多功能,比如你可以让ChatGPT给政府写封信来吓唬你的房东,但现在,让我们看一下如何使用ChatGPT去具体地操作。网页爬取图片来自作者现在,不管是做什么数据科学项目,你的第一步都是找到一个数据集。你可以使用来自不同库的内置数据集,也可以从网络访问数据集。这里有7个免费下载数据集的资源(https://medium.datadriveninvestor.com/7-free-resources-to-download-datasets-4689a419ccf9)。然而,当时间已经不足,而你又需要提高技能时,你可能会有通过网络爬取数据的想法。ChatGPT可用于从网页和其他来源爬取数据:《让我们用ChatGPT来学习网页爬取吧!》(https://medium.com/p/8863551d30b4)此外,你还可以使用我的提示词来学习上面列出的网页爬取库:《现在有一种更好的方法去使用ChatGPT爬取数据!》(https://medium.datadriveninvestor.com/now-theres-an-even-better-way-to-scrape-your-data-with-chatgpt-cc08956f6af4)数据探索图片来自作者既然学会了如何爬取数据,现在是时候学习数据探索了。在我看来,理解数据是数据科学项目中最重要的阶段,所以你需要像一名侦探一样敏锐。ChatGPT可用于数据探索和分析。通过使用Numpy和Pandas,它可以帮助你识别数据集中的趋势和模式。Numpy用于数字计算,Pandas用于数据操作,有时,(居然)还可以用于数据可视化。此外,如果你已经对数据科学有了一定的了解,你可能知道Lambda函数,它可以让你的代码更短、更“整洁”。机器学习图片来自作者数据收集好了,也分析过了,是时候开始创造了。现在,你需要创建可以从数据中学习并进行预测的模型。我之前写过一篇文章:《ChatGPT为机器学习提供了100个最重要的提示词》(https://pub.towardsai.net/chatgpt-guide-for-machine-learning-top-100-most-important-prompts-97bbcf49aca0)。通过使用这些提示词,构建机器学习模型不是梦。图片来自作者此外,如果你对机器学习还不太懂,你可以看看我的这篇文章《使用ChatGPT找到四大AI
2023年5月31日
其他

ChatGPT官方iOS应用上线!

AI从用户那里听到他们喜欢在旅途中使用ChatGPT。所以近期发布了iOS版的ChatGPT应用。ChatGPT应用程序可以免费使用,并在设备之间同步你的历史记录。它还集成了Open
2023年5月26日
其他

2023年,你需要知道的10个数据工程工具

今日份知识你摄入了么?近年来,随着企业生成越来越多的数据,数据工程也变得愈发重要。随着大量数据的涌入,企业需要以合理的方式管理、处理和分析数据。为此,他们需要大量使用数据工程工具,帮助他们最大限度地利用自己的数据。这篇文章主要介绍了在2023年我们需要了解的十大数据工程工具,其中既包括已经存在了一段时间的传统工具,也有越来越流行的新工具。我们还将介绍一些云工具——随着越来越多的公司将数据转移到云上,对这些工具的使用正变得越发普遍。传统数据工程工具传统的数据工程工具已经存在了许多年,而在今天仍然被广泛使用。其中最流行的传统数据工程工具包括:SQL:结构化查询语言(Structured
2023年5月25日
其他

认识PandasAI:用AI为你的数据分析“超级充电”

DataFrame,提出问题,而Agent将引用相关代码并提供全方位响应。就算是对于那些不熟悉Pandas的人来说,它也可以是一个用于处理表格数据的Python库。请看以下示例:from
2023年5月24日
其他

Binance宣布退出加拿大市场

这家全球交易量最大的加密货币交易所表示,与稳定币和投资者限制相关的新指南促使该交易所退出市场。加密货币交易所Binance宣布将停止在加拿大的运营,理由是监管环境面临挑战“我们对加拿大区块链行业的其余部分寄予厚望,”该公司在上周五的一条推文中表示。“不幸的是,与稳定币相关的新指导方针以及向加密交易所提供的投资者限制,使加拿大市场目前不再适合Binance。”今年2月,加拿大证券管理机构(CSA)发布了新的指导方针,禁止加拿大境内的加密资产交易平台在未获得CSA事先批准的情况下允许客户购买或存入稳定币。获得批准需要加密交易平台通过CSA的各种尽职调查检查。Binance在其上周五的推文中补充说,它不同意新规定,但仍希望与加拿大监管机构合作,进一步制定加密货币的监管框架。在过去的一年里,Binance受到了北美监管机构越来越严格的审查,并且似乎正在缩减在该地区的业务。今年早些时候,Binance表示,考虑与美国商业伙伴断绝关系。Binance联合创始人兼首席执行官赵长鹏(“CZ”)是加拿大公民,该公司称其退出加拿大是由于“情感价值”。-END-欢迎关注Youtube频道,了解更多关于大数据和区块链动态原文作者:Krisztian
2023年5月20日
其他

如何轻松安装Auto-GPT?

今日份知识你摄入了么?最近,一种比ChatGPT更具潜力的新AI进入了我们的视野中:Auto-GPT——其让GPT-4自动化成为可能。Auto-GPT是一个开源Python应用程序,使用GPT-4自主操作,因此它可以在几乎没有人工干预的情况下执行任务(并且可以自我提示)。图片来自Shutterstock你可以通过以下3个步骤来安装它。第1步安装Python和Git要在我们的计算机上运行Auto-GPT,首先,我们需要有Python和Git。要安装Python,请访问该网站并点击“Download
2023年5月19日
其他

“AI教父”离开谷歌:谈科技的潜在危险

Dean在一份声明中向BBC新闻直言:该公司仍致力于对AI采取负责任的态度。他表示:“我们在不断学习,理解新出现的风险,同时也在大胆创新。”谷歌首席执行官Sundar
2023年5月18日
其他

Adobe与谷歌合作,激励数百万人进行创作!

40年历史上最成功的测试版之一,并在第一个月内生成了超过7000万张图像。与此同时,我们看到各种技能水平的创作者使用Adobe
2023年5月17日
其他

数据科学家的ChatGPT指南:40个最重要的提示语!

今日份知识你摄入了么?ChatGPT在人工智能领域掀起了波澜,这是有充分理由的。这个由OpenAI开发的强大的语言模型有可能通过协助各种任务(如数据清理、分析和可视化)来显著增强数据科学家的工作。通过使用有效的提示,数据科学家可以利用ChatGPT的功能来简化工作流程。图片来自作者在本文中,我们将探索数据科学家最重要的40个提示,并讨论如何将ChatGPT与Python和其他流行的数据科学库结合在一起使用。网络数据抽取图片来自作者网络数据抽取是通过网络收集数据的过程。它是数据科学的一个重要阶段,通过使用不同的技术和工具,你可以创建新颖的项目,这将帮助你找到一份理想的工作。免责声明:此信息仅供教育用途。我们不鼓励任何人抓取网站,特别是那些可能有条款和条件反对此类行为的网站属性。问题图片来自作者什么是网络数据抽取?它在数据科学中有何用处?有哪些流行的用于网页数据抽取的Python库?它们是如何使用的?如何安装和导入用于网页数据抽取的Python库?你能提供一个使用Python的基本网页数据抽取脚本的例子吗?什么是HTML,如何使用BeautifulSoup从HTML页面提取数据?如何使用BeautifulSoup从XML页面提取数据?如何使用Selenium和WebDriver从动态网站中提取数据?你能提供一个使用BeautifulSoup从特定网站提取数据的网页数据抽取脚本的例子吗?什么是网络爬行,如何使用Scrapy实现它?什么是动态内容,如何使用Selenium和WebDriver抓取它?数据探索图片来自作者数据清理和预处理是任何数据科学项目的基本步骤。然而,它们也很耗时和乏味。ChatGPT可以帮助你为这些任务生成有效的提示,例如用于处理缺失数据的技术,以及用于特征工程和转换的建议。这些提示可以帮助你简化数据清理和预处理过程,从而获得更准确、更有意义的结果。问题图片来自作者什么是数据探索,它在数据科学中有何用处?有哪些流行的Python数据探索库?它们是如何使用的?你能提供一个使用Python的基本数据探索脚本的示例吗?如何使用PCA执行降维以探索变量之间的关系?你能否提供一个使用t-SNE、PCA和聚类来探索变量之间关系的数据探索脚本示例?如何使用Pandas和Matplotlib识别时间序列数据的模式和趋势?你能否提供一个使用Pandas和Seaborn识别数据模式和趋势的数据探索脚本示例?使用Pandas和Matplotlib探索变量之间关系的一些常用技术是什么?如何使用Pandas和Matplotlib生成散点图和折线图来探索变量之间的关系?如何使用PCA执行降维以探索变量之间的关系?数据可视化图片来自作者数据可视化是创建图形以帮助交流信息和呈现见解的过程。通过使用流行的Python库,如Matplotlib和Seaborn,你可以创建不同的图表、图形和其他可视化,从而更容易地探索数据中的模式和趋势。问题图片来自作者有哪些流行的Python数据可视化库?它们是如何使用的?你能提供一个使用Python的基本数据可视化脚本的例子吗?如何为不同类型的数据选择正确的图表或图形?如何确保可视化的可访问性和可读性?你能提供一个符合有效可视化设计最佳实践的数据可视化的例子吗?使用Matplotlib和Seaborn创建静态可视化的一些常见技术是什么?如何使用Matplotlib和Seaborn创建折线图、条形图、散点图和其他可视化效果?如何使用Pandas和Matplotlib执行相关分析和热映射?如何使用Matplotlib和Seaborn创建折线图、条形图、散点图和其他可视化效果?你能给我举一个用Plotly创建交互式图表的例子吗?机器学习图片来自作者机器学习是人工智能的一个子领域,包括使用算法和模型来分析和预测。借助流行的Python库(如Scikit-Learn),你可以为从图像识别到欺诈检测的广泛应用构建和训练机器学习模型。问题图片来自作者有哪些流行的机器学习Python库?它们是如何使用的?你能提供一个使用Python的基本机器学习脚本的例子吗?如何使用Scikit-Learn执行回归和分类任务?你能写一段代码,一次应用6种不同的分类算法,并通过使用precision-recall和f1
2023年5月16日
其他

CoinMarketCap推出竞争电视节目

Whale”将允许企业家向评委小组推销新的Web3产品和项目的想法。加密货币价格跟踪网站CoinMarketCap正在涉足真人秀世界,发布了一个名为“Killer
2023年5月13日
其他

8款新AI工具,帮你在工作中节省大把时间!

今日份知识你摄入了么?在当今快节奏的社会中,时间很宝贵。也就是说,我们需要在一定时间内满足那么多“要求”,感到焦虑、不知所措其实很正常。但我接下来将列出8款新AI工具,帮你加速工作,节省大把的时间。无论你是自由职业者还是老板,以下这些技术都能帮助你优化工作流程,腾出更多时间去忙其他活动。详情请往下阅读。ReplaiReplai是一个Chrome扩展程序,基于ChatGPT,应用在Twitter和LinkedIn平台上。Replai是与群体建立联系,在社交媒体上显示出你的智慧、有趣和专业的最简单方式。它可以让你更简单地在Twitter和LinkedIn等社交媒体平台上回答问题或评论。这个工具可以帮你更快地进行“有意义”的回应——只需单击一下。你可以在你的个人或公司档案中使用它,确保你的受众充分看到你的业务能力或专业知识。这个工具还可以提高你的参与度,提高你的网上声誉。图片来自作者Chatfuel
2023年5月12日
其他

CPU与GPU:哪个更适合机器学习,为什么?

今日份知识你摄入了么?提到CPU,我相信大家都很熟悉,但你是否听说过GPU这个词?如果没有,那么这篇文章就是为你而写!随着科技的全面发展,处理系统取得了很大进步。因此,我们最好于此时了解最新技术的应用。现在,让我们揭开CPU和GPU(两个最常用的处理系统)的神秘面纱吧!想象一下,你和你的朋友准备在各自的笔记本电脑上玩一款游戏——《使命召唤》。现在,你拥有一台配备英特尔i7处理器的笔记本电脑——没有显卡,而你的朋友拥有一台配备i3处理器的笔记本电脑——配有还不错的显卡。那么,哪种笔记本电脑能提供更好的游戏体验?也许当我说GPU会表现得更好时,你会说“对对对”(因为这篇文章就是在突出GPU的应用),但你是否知道其中奥秘呢?(想要全面了解CPU与GPU的关系,可以看一看这个视频:https://youtu.be/VBxST02czp8)目录什么是CPU和GPU?GPU的分类CPU的类型GPU的类型CPU与GPU的市场巨头CPU与GPU:主要区别CPU与GPU:哪个更适合机器学习,为什么?什么是CPU和GPU?CPU代表中央处理器。作为一个通用处理器,它负责执行计算机程序需要运行的大多数指令。CPU可以有多个处理内核,通常被称为“计算机的大脑”。正如“通用处理器”所暗示,它可以处理各种类型的任务,如运行操作系统、运行应用程序、进行复杂运算、处理文档、播放电影和音乐、浏览网页等。需要记住,CPU会进行顺序处理。打个比方,CPU就像一架战斗机,速度极快且灵活,但一次只能携带少量货物。这架战斗机可以以足够快的速度运送一小块货物,但要运送成千上万的货物,或许需要好几周的时间。GPU代表图形处理单元,包含许多更小、更专业的内核。当需要处理的任务可以在多个内核之间进行划分时,这些内核可以同时工作,提供极优性能。这是一个只用于特定工作的处理器,在并行计算的帮助下处理图形。它可以卓越地进行3D图形渲染、视频编码和解码、图片处理。GPU,对于游戏或科学模拟等需要大量并行计算的工作尤其重要。GPU内存带宽,指的是单位时间内传输到内存和从内存传输出来的信息量。GPU内存具体指的是GPU消耗的RAM。GPU的分类集成型:它集成在处理器中,并利用了内部内存。对于集成GPU系统而言,RAM通常被用作GPU内存。专用型:它是一个独立的硬件,具有专用内存。因此,它有助于进行资源密集型工作,如深度学习、高端游戏等;对于专用GPU系统而言,独立/专用RAM通常被用作GPU内存。CPU的类型英特尔酷睿处理器:作为市场上使用最广泛CPU,英特尔的酷睿系列处理器经常被使用在台式机和笔记本电脑中。AMD锐龙处理器:AMD的锐龙系列CPU,价格低廉,性能强劲,旨在与英特尔的酷睿系列处理器竞争。ARM处理器:ARM处理器在智能手机和平板电脑等移动设备上很受欢迎,并以节能闻名。GPU的类型NVIDIA
2023年5月11日
其他

比尔·盖茨:人工智能将在18个月内教孩子识字

今日份知识你摄入了么?微软联合创始人比尔·盖茨表示,未来18个月内,人工智能聊天机器人可用于提高儿童的阅读和写作技能。在圣地亚哥举行的ASU+GSV峰会的炉边聊天中,盖茨解释说:“人工智能将会具备这种能力,成为像人类一样优秀的导师。”人工智能聊天机器人,如OpenAI的ChatGPT和谷歌的Bard等,在最近几个月发展迅速,现在可以在一些标准化测试中与人类水平的智能竞争。盖茨说,传统上,计算机很难教授写作技巧,因为它们缺乏复制人类思维过程的认知能力。然而,人工智能聊天机器人能够识别并重现类似人类的语言。《纽约时报》科技专栏作家Kevin
2023年5月10日
其他

IBM计划用人工智能取代近8000个工作岗位!

今日份知识你摄入了么?IBM首席执行官Arvind
2023年5月9日
其他

2023年值得一做的5个免费数据工程项目

今日份知识你摄入了么?数据工程是一个回报丰厚的职业,目前正在蓬勃发展。这一领域对熟练专业人员的需求日益增加。在一个数据驱动的世界里,建立、设计和管理数据科学管道并维护数据基础设施,为数据应用提供动力,DE是至关重要的。用一句话来概括:“数据工程是人工智能的未来”。但问题是:寻找数据工程项目是非常困难的!这就是为什么我列出了你现在可以做的5个项目。如果你对数据工程感兴趣,或者想把你的专业技能提升到更高的水平,你已经点击了正确的文章。本文也将帮助你为你的工作建立一个伟大的作品集/简历。那我们开始吧!01使用Airflow的Twitter数据管道当你在大数据社区听到数据管道这个词时。你只需要考虑一件事,就是数据工程师。因为他们的工作是建造、设计和管理管道。所以,如果你想成为一名专业人士,你需要掌握与数据管道相关的技能和工具。它们是你必须要做的事情。这个项目将教你Airflow的基础知识和如何建立一个数据管道。你将会学到:Python
2023年5月5日
其他

如何利用ML构建推荐系统?

今日份知识你摄入了么?“选得好,女士!我们的汉堡与配菜和饮料完美搭配。我可以为你进行一些推荐吗?”——图片来自作者在这篇文章里,我们将分析2023年1月底结束的“OTTO-多目标推荐系统(https://www.kaggle.com/competitions/otto-recommender-system/)”竞赛的技术和方法,从中吸取教训,并将最佳方案应用到我们自己的数据科学项目中。问题:多目标推荐系统“OTTO-多目标推荐系统”竞赛,要求参赛者建立一个隐式用户数据的大型数据集的多目标推荐系统(RecSys)。现如今,在电子商务行业,你的“竞争对手”们正在处理以下内容:多目标:点击量、添加购物车数量、订单量大型数据集:超过2亿个事件,涉及约180万件商品隐式用户数据:用户会话中以前发生的事件如何处理大型项目数据库的RecSys这场比赛有一个很大的挑战,即参赛者有着大量的商品可供选择,而将所有可用信息输入到复杂模型中需要大量的计算资源。因此,参赛者们通常会两步走:精准推荐/重新排序技术:阶段1:精准推荐这一步骤将每个用户的潜在推荐数量从数百万减少到大约50到200。为了处理数据,这一步通常会使用一个相对简单的模型。阶段2:重新排序你可以在这一步使用更复杂的模型,例如ML模型。在你对减少后的推荐进行了排序后,你就可以选择排序最高的商品作为推荐。图片来自作者阶段1:使用Co-Visitation矩阵生成精准推荐两步走的第一步是将潜在推荐的数量从数百万减少到大约50到200。为了处理大量的商品,第一个模型应该很简单。你可以选择(并组合)不同的策略来减少商品数量:根据用户历史记录根据受欢迎程度(这种策略非常有用)根据基于co-visitation矩阵的共现其中最简单的方法是根据用户历史记录:如果用户查看过某个商品,他们很可能也会购买。然而,如果用户查看的商品(例如,五件商品)少于我们希望为每个用户生成的推荐数量(例如,50到200个),我们可以通过商品受欢迎程度或共现来填充推荐列表。由于根据受欢迎程度这个方法很简单,因此我们将在本节中重点介绍通过共现产生的推荐列表。通过两个商品的共现产生的推荐可以用co-visitation矩阵来处理:如果user_1在购买item_a之后不久又购买了item_b,我们就可以存储该信息。图片来自作者对于每个商品,计算指定时间范围内其他商品的出现次数。图片来自作者对于每个商品,找出该商品之后访问次数最多的50到200个商品。正如你从上面的图片中看到的,co-visitation矩阵不一定是对称的。例如,买了汉堡的人可能会买饮料,但也很有可能不会。你也可以根据接近度为co-visitation矩阵指定权重。例如,在同一会话中一起购买的商品可能比用户在不同购物会话中购买的商品具有更高的“重量”。co-visitation矩阵类似于通过计数进行矩阵分解。矩阵分解是推荐系统中一种很流行的技术,具体来说,是一种协作过滤方法,用于查找商品和用户之间的关系。阶段2:使用GBDT模型重新排序第二步是重新排序。虽然你可以亲自动手制定规则以获得良好性能,但理论上来说,ML模型会更出色。你可以使用不同的梯度下降树(GBDT)ranker,如XGBRanker和LGBMRanker。准备训练数据和特征工程GBDT
2023年5月4日
其他

3个能瞬间提升查询速度的SQL优化技术

今日份知识你摄入了么?已经出现了一些数据库来解决特定的软件开发和数据科学需求。然而,关系数据库仍然是许多人最常用和首选的数据库。查询速度是人们考虑不同数据模型的最常见原因。基于文档、列族和图形数据库帮助解决速度问题。但是关系方法对于大多数用例来说已经足够了。此外,我们可以通过优化提高速度,同时仍然享受SQL提供的所有好处。我并不是不愿意改变。然而,在任何项目中,保持技术栈尽可能精简通常是我的主要目标。这样,SQL是大多数工程师都能理解的东西—即使是新手!因此,切换到不同的数据模型是我最不愿意考虑的事情。相反,我将首先进行这些调整,以便使用SQL充分利用关系数据库。我没有在这里列出所有SQL优化技术。但这些都很简单,不需要太多的精力和时间。尽管如此,最好在计划阶段就决定这些技术,而不是在行动中解决问题。图片来自Unsplash,作者Heramb
2023年5月3日
其他

完美的数据科学简历要避开的10个常见错误!

今日份知识你摄入了么?在当今竞争激烈的就业市场,一份精心制作的简历,用于有效地展示你的技能和经验是至关重要的——数据科学领域尤其如此。雇主正在寻找能够证明其分析和解释复杂数据的能力的求职者。然而,即使是最合格的求职者也会在简历上犯一些常见的错误,而这可能会使他们得不到这份工作。在这篇文章中,我们将讨论,要制作完美的数据科学简历,必须要避免的十大错误。通过避免这些错误,你可以制作一份突出自己优势的简历,帮助你在其他求职者中脱颖而出。照片来自Unsplash,作者CHUTTERSNAP目录:没有把你的工作成就量化过于注重技术技能过度使用技术语言不根据工作描述制作简历包含无关信息添加非常通用的信息使用非专业电子邮件地址包含过多的个人信息未能校对使用通用简历模板01没有把你的工作成就量化图片来自Unsplash,作者Nick
2023年5月2日
其他

Web3智能手机“Saga”将于5月8日面世

Labs的999美元Finney区块链智能手机。尽管Exodus和Finney的经营理念都未能获得关注,但三星仍然为Android系统提供三星区块链密钥库SDK。Cupertino-based
2023年4月29日
其他

Mastercard推出免费音乐通行证NFT

Notebook?实战项目必备的5个高级SQL技巧!ChatGPT竞争对手来了?谷歌开放Bard访问权——第一印象如何?点「在看」的人都变好看了哦点击“阅读原文”查看数据应用学院核心课程
2023年4月22日
其他

这8项新技术将改变世界!

今日份知识你摄入了么?在2020年的时候,我写了一篇题为《有关科技的“下一件大事”:将改变世界的20项发明》(https://medium.com/p/303e000456e9)的文章。它已经被阅读了70000多次,在社交媒体上被分享了1000多次。但今天读它的人都会注意到,当时写的东西放在现在看已经过时了。因此,我有必要进行一下全方位的更新,强调当今出现的重要技术了——它们将在2030年(或2028年…或2032年…)风靡全球。当然了,不必完全相信这些“固定的”时间点,因为这些预测往往都不对(尤其是在技术方面)。原因很简单——我们倾向于用历史作为未来的指南,而历史的核心是对惊喜的研究。然而,这不应阻止我们更好地理解未来:通过对“过去”和“现在”发展的情况进行规划,当“未来”来临时,我们就能最快地采取适当行动。我们不知道答案,但我们可以提出有用的问题,抛砖引玉!1商用核聚变发电核聚变,一般来说,是指氢原子的原子核暴露在极端高温下并相互结合时释放能量的过程。这一过程会释放出大量的能量,而这正是人类越发渴望得到的。顺便说一句,太阳产出的能量也来自其本身的核聚变。核聚变为什么这么被重视?因为地球有着几乎无限的氢气供应,而氢气可以从水中提取,其产出的氦气同样是无害的。同时,聚变反应堆比裂变反应堆要更安全,因为它们不会产出任何会“存活”很长时间的放射性核废料。如果核聚变发电用于商业,其将提供公用事业规模的能源,既成本低,对环境影响小,能源的可用性和安全性也高。现在已经有几个国家在核聚变研究方面投入了大量资金,同时私营公司也在进行自己的试验。法国正在建造ITER反应堆,预计于2026年开始运行,其是第一个能源积极型的反应堆;除此之外还有几十座正在建造中。然而,核聚变研究进展缓慢且耗资巨大。这项技术最大的问题是,目前需要创造比太阳上更高的温度来启动聚变反应。这样做需要许多能量,比反应产出的能量更多。尽管最近取得了一些进展,但核聚变发电什么时候能商用仍然不确定,可能还有十多年的时间。点击此处了解更多关于商用核聚变的信息[国际原子能机构](https://www.iaea.org/newscenter/news/what-is-nuclear-fusion)2机器人知识共享走进工厂或仓库,待在家里或街上,我们看到的机器人都给我们留下了深刻印象……深刻的“蠢”。它们在高度受控的环境中工作得很好,但每出现一种新情况,它们就会“变傻”,而让它们学会处理新情况通常要价不菲。好消息是,“机器人知识共享”技术改变了这一现状。这方面的研究人员旨在为机器人创建一种标准化的方式来彼此共享信息。这些信息将通过试错(又称强化学习)的方式收集——我们都知道这是AI学习的有效方式。它可以学到许多东西,比如,了解道路上出现了障碍物,去解析复杂的形状。我们的效率将呈指数级增长,而成本将飞速下降。星移斗转,科技行业的发展趋势早已锐不可挡。但在“硬件、传感器、ML、数据配置……”等科技概念彻底进入我们的生活之前,先让我们对其它们进行标准化处理。所有研究者都希望自己是时代的“诸葛亮”和“爱迪生”,但却可能什么都做不成。归根结底,可能是因为每个人知识的局限,无法就某事达成一致。点击此处了解更多关于机器人知识共享的信息[南加州大学](https://robotics.usc.edu/publications/media/uploads/pubs/683.pdf)3DAO(去中心化自治公司)未来你会怎样工作?你会做一些你喜欢的事情,不需要面试;你将为许多雇主工作,不需要签署合同,所有雇主都会向你支付报酬;你将与你不认识的同事竞争,同时他们所做的一切你都能看到;你将对公司决策有发言权,但你所有的客户也会有发言权;你将远程办公、全球办公,永远在线。听起来像个梦?你说得对。噩梦?又对了。欢迎来到去中心化自治公司的世界。根据这项技术(或概念)的拥护者的说法,DAO会很快将使人类将作为一个群体聚集在一起,在数字世界中做出决策。如何做到?首先,管理公司的规则将表示为一系列直接编码到区块链中的“IF/THEN”语句,使其既可审计又能永久使用。其次,决策投票权将以“数字治理代币”的形式赋予股东们——也记录在区块链上。从理论上讲,这样做既取代了当今公司的繁文缛节(因为规则是编码的),也破坏了它们的等级性质(因为每个股东都有发言权)。从技术上讲,所有类型的公司都可以被创建为去中心化的自治公司:投资公司、咨询公司、工程公司等。但这只是猜想——现实更复杂…也更有趣。点击此处了解更多关于去中心化自治公司的信息〔Pourquoi
2023年4月21日
其他

ChatGPT在意大利因隐私问题被禁止使用

commission)告诉BBC,它正在与意大利监管机构保持联系,以了解他们行动的基础,并“将与所有欧盟数据保护机构就禁令进行协调”。英国独立数据监管机构信息专员办公室(Information
2023年4月20日
其他

2023年你需要知道的13个数据行业流行语

今日份知识你摄入了么?2022年1月,我正在阅读数据的未来,以及我应该知道的术语,以便为这一年做好准备。在当今快速扩张的数据环境中,越来越多地采用数据分析和报告使我作为数据分析和报告顾问感到高兴。2022年,数据处于所有技术进步的前沿。这一年都是关于小数据、日常工作的自动化、对云的更强依赖、对业务的强大预测模型,以及高管们只希望看到仪表板。我们在2022年听到了对新数据术语的介绍,它们在2023年成为我们词汇的一部分,这篇博客是关于那些肯定会在我们生活中出现的数据和技术专业人士的热门词汇。图片来自Unsplash,作者Max
2023年4月19日