個人認為，熟練AI時代下的工具，理論，都是宏觀交易員在這個時代獲得巨大優勢的必要籌碼，未來隨著AI工具的進一步進化和集成，AI- based plugin將進一步多元化，並顯著 降低我們的工作成本。

隨著AI基礎設施的建立，app和AI plugin之間的距離將越來越模糊，直到有一天AI based infrastructure可以取代手機中數百個不同領域的app應用。
星球社群中也將不間斷發布關於AI技術的論文，以及一些理論知識乾貨。

以下為正文：
在Attention誕生之前，已經有CNN和RNN及其變體模型了，那為什麼還要引入attention機制？

主要有兩個方面的原因。
（1）運算能力的限制：要記住很多”資訊”，模型就要變得更複雜，然而目前運算能力依然是限制神經網路發展的瓶頸。
（2）最佳化演算法的限制：LSTM只能在一定程度上緩解RNN中的長距離依賴問題，且資訊”記憶”能力並不高。

注意力模型用最簡單的方式解釋，就是模仿人腦對於訊息的處理機制。
試想下，當我們人腦開始處理複雜訊息（圖片/語音/文件等），大腦會開始做出以下行為來強化我們的應對和理解能力：

1. 在複雜的資訊中，篩選出最為重要的部分。
2. 找到資訊中存在的關聯性（correlation) 以及模式（當然AI業界的名詞不是這麼敘述，但類似的概念）。
3. 透過在資訊中做出優先順序的權重排序，搞清楚哪些是主要，哪些是次要的資訊。

整個attention AI模型如果用簡單的方式理解，就是透過讓AI透過一系列方式，將語義形成矩陣，以數學的方式，讓AI理解上下文，並且透過複雜的字詞中提煉出核心訊息，從而做到真正 理解人類語言，和需求的能力。

attention模型的應用實際上強化了AI模型的以下屬性：
1. 對於資訊的處理速度。
2. 並行多工處理（可同時處理多種變數）。
3. 對於前後文意義轉折，邏輯聯繫，或是上下文的聯繫能力有著驚人的提升。

Transformer模型是一種深度學習架構，最初是為了改進機器翻譯任務而設計的。 現在，它已經被廣泛應用於各種自然語言處理（NLP）任務。

Transformer模型有以下特性：
1. 處理序列資料：Transformer模型特別擅長處理序列資料（sequence data) ，例如文字。 它可以理解和產生類似人類語言的結構。
2. 注意力機制：Transformer的核心特性是”注意力機制(attention mechanism) “。 這意味著模型能夠專注於輸入資料的不同部分，以便更好地理解和回應。 例如，在翻譯句子時，模型可能會特別關注與當前翻譯詞相關的單字。
3. 並行處理：與傳統的遞歸神經網絡（RNN）不同，Transformer可以同時處理整個序列，而不是一個接一個地處理。 這使得它在處理速度上更快，更適合大規模資料。
4. 編碼器和解碼器(encoder and decoder) ：Transformer模型通常由編碼器和解碼器組成。 編碼器處理輸入資料（例如，將一種語言的句子轉換成理解的格式），而解碼器則產生輸出（例如，將這種格式轉換成另一種語言的句子）。
5. 自我注意力(self attention mechanism) 與層次結構：
在Transformer模型中，自我注意力層允許模型在處理一個單字時考慮到句子中的其他單字。 此外，多層結構使模型能夠學習複雜的語言特徵。

理解Transfomer 模型中的Q/K/V：
在Transformer模型中，Q、K、V分別代表Query（查詢）、Key（鍵）和Value（值），它們是理解Transformer模型中註意力機制的關鍵概念。 這三個元件是實現所謂的”自註意力（Self-Attention）”機制的基礎，這是Transformer模型的核心特性之一。

以下詳細解釋這三個概念(Q/K/V)：

在自註意力機制中，這三個組件是如何運作:

這個過程使得Transformer能夠在處理每個元素時考慮到序列中的所有其他元素，從而捕捉複雜的、長距離的依賴關係。 這也是Transformer模型在處理語言和其他序列資料時非常強大的原因之一。

AI 後續的發展方向與想法：
1）AI解決數學問題，這部分分為解決已知數學問題或是解決高難度，未知的數學問題（拓展已知數學邊際的認知問題），以AI作為科學領域的助手，應該說是AI 領域非常高深的一個方向。
2）AI打遊戲，看電影，生成音樂等。 或是將現有的遊戲引擎加入更多AI要素。 在這三個領域AI有著無所比擬的巨大優勢。 舉例，大部分華人樂手的R&B，以及少數（某些）自以為懂R&B的爛歌手抄來抄去的重複和弦，都可以透過AI生成相似，甚至是超越原作的音樂作品。

電影領域尤其是科幻片，在重複性的動畫生成（水的漣漪，爆炸碎片的軌跡或是物理性的其實都和遊戲工業有著巨大的重疊性）。
自2020年疫情以來，遊戲產業出現井噴式成長，遊戲產業是AI領域深度垂直變現能力最強的領域。 透過掌握更強的AI能力，3A遊戲公司能夠降低巨大的重複成本（比如說開放世界中，生成路人，生成一些雜七雜八的物件）。

3）AI用於投資決策，產生交易策略，辨識價格訊號。
這部分我正在投入大量的資源去開發，形成一條可依賴的路徑。
例如大型爬蟲辨識某類公司財報訊息，或是透過辨識某些價差模式產生一些可執行交易，和過去的交易系統中最大的差別在於訊號源的設計，以及產生模式，將認為介入的因素降 到最低。

當然短期AI不一定有能力能夠取代基金經理，但無疑AI能夠依據宏觀交易員和基金經理的經驗，甚至是爬取大量公開的推特和PPT，生成一系列的價格信號源以及模式識別，以 輔助交易員或是基金經理人進行投資決策。

最後聊聊Qstar 的後續可能發展:
1）SELF PLAY: AI領域的左右手互博。
代理（agent）可以透過與略有不同的自己進行博弈來提高自己的博弈水平，因為它會逐漸遇到更具挑戰性的情況。 在 LLM 的空間中，幾乎可以肯定的是，自我對弈的最大部分將看起來像是人工智慧回饋，而不是競爭過程。
2）LOOK AHEAD PLANNING（前瞻性規劃）:
指使用世界模型來推理未來，並產生更優化的行為或產出。 基於模型預測控制（MPC）以及蒙特卡羅數分析（MCTS）。 前者應用於連續狀態，後者應用於離散的行動和狀態。

更多後續的猜想和思考都將放進社群。
公眾號僅作為知識儲蓄，思考筆記之用。