
著作转载于量子位(QbitAI)作家:一水赌钱赚钱官方登录
天啦撸!回溯你在网上看过、作念过的一切,也有免费软件可用了!
约略说,针对任何“之前好像在哪看过”的电脑文献,只需输入估量搜索词,这个软件齐能帮你一键松驰回忆了。
通达方式be like(没错,也有中语版):
你品,你细品。这像不像《黑镜》中“你的一齐历史”那一集,边幅了一种东说念主东说念主齐植入芯片、能随时读取往日顾忌的未来生计。

更挑升义的是,发明这个软件的一又友将其定名为Pensieve (冥念念盆),它是指”中索乞降归来顾忌的阿谁洪水盆子”。

笑死,你别说还真贴切!事实上,这个技俩多量鉴戒了之前就很火的“顾忌助手软件”Rewind和的Windows Recall功能。
然则,这两个emmm……Rewind要收费(基础版12好意思元/月),微软的展期了。
是以,既免费、又立即可用的Pensieve是真香了!
这不,代码更新后飞速登上了GitHub热榜~

1
记着并回忆电脑屏幕上的统统履行
咱们先来看GitHub页面上Pensieve(原名为Memos)的官方先容:
一个以遁藏为中心的被迫录制技俩。它不错自动记载屏幕履行,构建智能索引,并提供粗浅的网页界面以检索历史记载。
是不是听起来如故有点抽象?
别急,咱们速即拿Rewind和Windows Recall来一波回忆杀(doge)。
先说微软画了很久的大饼——Windows Recall。这个功能是本年5月初度被提议的,那时微软筹办将其行为Copilot + PC的一项旗舰功能推出。
那时主打,任何文献或网页浏览记载齐不错用天然言语搜索,松驰回忆任何东西。
估量词,由于安全方面的担忧,该功能的发布被一再推迟,且于今仍未上线。
细数一下,微软开端筹办于6月18日发布,但由于安全问题,到了期间点却未能定期上线。
自后微软对其进行了翻新,加入了高档加密和Windows Hello认证,数据被保存在VBS安全区中,第三方运用和用户无法拜访,况且截图将自动抹杀诸如密码和信用卡信息等敏锐履行。
一番矫正后,微软又筹办在10月底开端测试新版块的Windows Recall。
直到本日,该功能仍未上线,微软还在改改改……

此外,对于“顾忌助手”Rewind,诚然干得繁荣兴旺,但奈何它是收费滴。
Rewind建立于2020年,主买通过AI期间捕捉和整理用户的一齐生计履行。
具体功能和Windows Recall同样,亦然匡助用户记载并回溯在手机或电脑上看过的统统信息。
不外除了走到“回忆起”这一步,Rewind走得更远了少许。
它还接入了GPT-4,大约对这些“顾忌”进行更深一步的操作,使得用户不错通过提议问题、创建纲目等方式与系统进行交互。
而就在Rewind功能愈加完备的经过中,它也获利了老本的可爱。
规章本岁首,Rewind照旧完成了两轮融资,意料2790万好意思元,估值约为3.5亿好意思元(25.34亿东说念主民币),况且两轮中齐有OpenAI CEO Sam Altman和a16z的身影。

比拟之下,字据技俩作家的说法,Pensieve的最大特色在于:
允许用户齐全抑制我方的数据,幸免将数据传输到不行信的数据中心。
具体而言,Pensieve领有以下几个特色:
约略装置,只需通过pip装置依赖项即可开端;
所稀有据均土产货存储,允许齐全土产货操作和自主数据措置;
已毕全文和向量搜索;
与Ollama(一个相沿土产货部署LLM的开源框架)集成,增强搜索才气;
相沿Mac和Windows(Linux相沿正在开发中);
兼容任何OpenAI API模子(举例,OpenAI、Azure OpenAI、vLLM等);
允许用户弃取和竖立言语模子(包括中语和英文);
允许通过插件膨胀功能;
底下重心先容人人热心的几个问题。
第一,需要占用几许存储。
作家贴心预估了一下,每月按20个责任日筹画,产生的截图文献约8GB。截图会进行去重,若是相连截图履行变化不大,那么只会保留一张截图。
SQLite数据库大小取决于索引的截图数目,10万张截图索引后约占用2.2GB存储空间。
第二,对于功耗和硬件开采。
Pensieve默许需要两个筹画密集型任务:1)一个是OCR任务,用于从截图索求文本;2)另一个是镶嵌任务,用于索求语义信息和构建向量索引;
对于前者,作家使用CPU践诺,并针对不同的操作系统优化以最小化CPU使用。
而对于后者,作家以为不错按照我方的开采进行弃取:
NVIDIA GPU开采优先使用GPU;
苹果开采优先使用Metal GPU;
其他开采使用CPU;
天然,为了幸免影响用户闲居使用,Pensieve还选拔了优化要领。
一方面,Pensieve大约字据用户的活动模式动态诊疗索引构建的频率。也便是说,在用户使用电脑时,它会裁减索引构建的优先级,以减少系统资源的占用。
另一方面,Pensieve在联想时辩论了电板使用寿命,通过监控电板情状,当电板电量低于某个阈值时,会自动减少资源糜费,以延迟电板使用期间。
第三,遁藏安全若何保证。
Pensieve作家提议了4点要领来保证用户遁藏,包括:
1、代码是齐全开源且易于表现的Python代码,允许任何东说念主审查以确保莫得后门或坏心软件。
2、土产货化数据存储。Pensieve将所稀有据存储在用户的土产货开采上,而不是上传到云霄劳动器。
3、易于卸载:Pensieve提供了约略的卸载经过,用户不错松驰地从系统中移除。
4、数据处理齐全由用户抑制。用户不错解放弃取何时启动或住手记载,以及若何措置和查询我方的数据。
另外,行为一个疏淡技俩,Pensieve所使用的机器学习模子(包括VLM和镶嵌模子)齐允许由用户弃取。

1
这就上手装置试试
轮廓而言,使用Pensieve梗概包括以下几个方法:
装置Pensieve
启动化pensieve竖立文献和sqlite数据库
使用两行高歌启动劳动
通达浏览器并拜访Web界面
BTW,Pensieve作家也贴心送上了“食用指南”,约略轮廓如下:
1、弃取得当的镶嵌模子
由于Pensieve使用镶嵌模子索求语义信息并构建向量索引,故弃取合适的镶嵌模子至关蹙迫。
字据用户民俗的言语,作家提供了中英两种模子。

2、使用Ollama进行视觉搜索
默许情况下,Pensieve仅启用OCR插件从截图索求文本并构建索引。估量词,这种方法极大规章了莫得文本的图像的搜索后果。
对此,咱们需要一个与OpenAI API兼容的多模态图像表现劳动,刚好Ollama不错胜任。
需要教导的是,在启动VLM功能之前,对硬件有一定条款:
保举竖立:至少8GB VRAM的NVIDIA显卡或搭载M系列芯片的Mac;
CPU模式不保举,因为它会导致系统严重卡顿;
3、全文索引
由于Pensieve默许情况下并非统统截图齐会立即索引,因此,需要以下高歌行,才能已毕全文索引功能。

更多装置细节可参宽恕技俩库,地址也给人人放上了~
GitHub:https://github.com/arkohut/pensieve?tab=readme-ov-file