python 做資料分析速度快嗎？

1樓：find goo

你可以玩加速

語言級編譯加速器有numba，pypy， cython等

像矩陣運算，可以有很多方法加速，你用c/c++不如借助工具，因為你用c/c++寫的不一定是最優化演算法，可能導致效能變慢。

Numpy

NumPy系統是Python的一種開源的數值計算擴充套件。這種工具可用來儲存和處理大型矩陣。

Cupy

CuPy是基於CUDA實現與NumPy相容的多維陣列的實現。基於 Numpy 陣列的實現，GPU 自身具有的多個 CUDA 核心可以促成更好的並行加速。

Mars

阿里開源自研科學計算引擎 Mars，基於張量的統一分布式計算框架。Mars很多相容Numpy ，另外還擴充套件了 Numpy，充分利用了GPU在科學計算領域的已有成果。建立張量時，通過指定 gpu=True 就可以讓計算在GPU上執行。

cuDF

cuDF基於 Apache Arrow列記憶體格式的資料幀庫，GPU DataFrame庫，可以進行載入，連線，聚合，過濾等操作。cuDF 提供了類似 pandas 及pandas DataFrame的API，無需深入了解 CUDA 程式設計的細節。

XDLSparse

稀疏矩陣計算，大矩陣一般都為稀疏矩陣

RAPIDS

英偉達開源的GPU加速平台構建在Apache Arrow、pandas和scikit-learn等流行的開源專案之上，為Python資料科學工具鏈帶來了GPU提速。RAPIDS 包含一系列庫（BlazingSQL、cuDF、cuML、cuGraph）等。

Dask

Dask 庫可以將 Python計算擴充套件到多個核心甚至是多台機器，Numba+Dask基本上算是cpu上的無敵存在。Dask的Dataframe，比Pandas的Dataframe效能更強，Dask Dataframes與Pandas Dataframes具有類似相同的API。

Pytorch

PyTorch是使用GPU和CPU優化的深度學習張量庫，學術界使用很多。

MXNet

MXNet 是Amazon的開源深度學習庫，張量計算功能強，英偉達官方常用來跑分。

JAX谷歌開源的TensorFlow的簡化庫JAX。JAX 結合了 Autograd 和 XLA，用於高效能機器學習研究。基本XLA，可以在 GPU 和 TPU 上編譯、執行 NumPy 程式。

2樓：姜春桂

肯定不快呀！你需要準備資料分析的維度和指標，然後在構建模型，然後才能形成分析，但是BI工具的話，直接的用工具方的建模，使用，配色什麼的，已經有現成的呢！所以還是超級棒呢！

3樓：職位盡量快

我覺得提問是一門技術。python做資料分析，速度快嗎。最重要的是說清楚，到底要做什麼。

就好比，我問，北京到天津，騎自行車，行嗎？要我說，行啊，身體健康會修車就行。

北京到美國，騎自行車，行嗎？我覺得還行，舉著車子游過去。

不得不要引用一下已經有的幾個答案，資料量完全不應該是重點，1P的資料由1萬台機器，100G的資料放在了2千塊的個人pc上處理，到底哪個資料量是大呢？

我覺得資料分析，使用的至少已經是二級資料結果了，並非原始資料，所以，關鍵的效率點在於演算法的實現方式。

比如matlab解矩陣一定要先化為最簡矩陣，然後再消元，而python可以用更先進的方法直接消元，那麼涉及到矩陣方面的計算時，python的效率就是高的。反之就是低的。

4樓：Drizzt

大部分資料分析吧，除非寫的爛的一批，演算法時間隨資料規模高次數甚至指數增長，其餘很多時間都是用在資料讀和寫出上。就算資料在資料庫裡，量一大也很慢，量大了就別用py了，那麼多大資料平台，storm啥的也可以用