2024-W11 处理 CSV 文件可以有多快?

处理 CSV 文件可以有多快?

Mar 11, 2024
周刊, Python

图为北京八角游乐园东门外的铁路(库存)

自从有了咖啡机,媳妇几乎每天早晨都热衷于练习拉花,而我目前已经连续喝了小半个月的咖啡,逐渐觉得身体有点吃不消了。一方面晚上睡不着,经常 12 点也不困,然后早上还起不来,尤其最近几天身体还有迷迷糊的无力感,下班到家就感觉睁不开眼可还是不想睡觉,心慌的感觉。

到本周终于把《三体》又听完了一遍,前后花了四个月的通勤,周末又翻了电子版的书总结了下最后几章的结局,那迄今为止算是读过两遍三体了,七八年前阅读时那些已经忘记或不懂略过的事情如今算是又重新理解了一遍,感觉很好,收获满满,并没有觉得重复阅读会浪费时间,反而是温故知新意犹未尽。

今天如果让我做 Vue 和 React 的技术选型,当前我的结论是,理论上 React 的能力可以更优雅地解决复杂需求,但是如果不追求完美,Vue 能更快地结束前端工作。

发现 #

星际争霸伤害原理:你为什么打不过对面
https://www.bilibili.com/video/BV11h411e7cW/
刷新了认知:同样的兵种比如枪兵,对战时双方数量若只差 1 个,比如 50:49,火拼完(无脑 A)胜出一方可能会剩余 10 个枪兵。当然我知道很多职业选手打前期的时候精打细算,但是完全没认识到完事会有这么大的蝴蝶效应,火拼前多投入的 50 块钱,最后可能会带来 500 块钱的领先。当然脑子+微操在实战中可能会弥补这个差距。

大厂 AI 实践,目测还在持续更新中,值得关注
https://www.yuque.com/wikidesign/vngzgk
可以进一步看看语雀上面维护者的其他两个知识库,同样很有价值。

Ollama: Get up and running with large language models, locally.
https://ollama.com/

”俄罗斯总理的几何题“,挺有意思的,可以尝试自己先做一下
https://www.ruanyifeng.com/blog/2021/09/geometry-puzzle.html

How fast can we process a CSV file
https://datapythonista.me/blog/how-fast-can-we-process-a-csv-file
深有同感, 单纯依靠 Python 加上 Pandas 处理数据其实并不快,Python 并不是以高性能著称的,比较现实的解决方案是小量数据集比如几百 M 可以去用 PyArrow 甚至 Polars 去解决,但是当你数据集达到几十 G 甚至更高的时候, 只用 Python 哪有什么效率可言。。

2023年总结 - 随心而行(tw93)
https://tw93.fun/2024-02-13/my-2023.html

Github 前 CEO 的个人主页上,记录了一些他的信条。
https://nat.org/
我的感触就是:“It’s important to do things fast” 这一条,因为我还做不到,最近概率论就好像看了一个多月了。。

Last Modified at Mar 21, 2024