オレオレ

Github Copilot

を作ろう

okdshin

Github Copilotとは何か

• Microsoft傘下のGithubとOpenAIが共同開発したコーディング支援ツール
• コードの補完（Completion）をしてくれる
• $10/month (個人利用)
• 1500円/月くらい

引用：https://theconversation.com/so-this-is-how-it-feels-when-the-robots-come-for-your-job-what-githubs-copilot-ai-assistant-means-for-coders-185957

便利〜

Github Copilotには問題もある

• コードが外部に送られてしまう
• サービスがダウンすると使えなくなってしまう
• サブスクのコストがかかる

オレオレ

Github Copilot

を作ろう

okdshin

OpenAIのモデルを使わないと

コードの生成はできないんじゃ？

コード生成のためのモデルがいくつも

公開されている

​

​

​

• CodeLLaMA
• SantaCoder
• StarCoder ......
• CodeGen2.5 ←今回はこれを使う

CodeGen2.5-7B-multi

• Salesforceが公開しているコード生成モデル
• 86種類のプログラミング言語をサポート
• Apache v2ライセンス
• Github Copilotで使われていたモデル�OpenAI Codexに匹敵する性能

エディタ上でコード補完

を走らせるにはどうすればいいの？

エディタ、言語の組み合わせの数だけソフトウェアを作る必要がある？

LSPに乗っかれば解決

• Language Server Protocol
• Microsoftが提唱しているエディタ拡張のためのプロトコル仕様とソフトウェア群

https://medium.com/@malintha1996/understanding-the-language-server-protocol-5c0ba3ac83d2 から引用

オレオレGithubCopilot

を作ろう

ローカルLLMでコード補完用

LSPサーバーを作ろう

ローカルLLMの実行：llama.cpp

• モデルパラメータを4bit量子化してCPUとGPUで高速に実行できる
• モデルをGPUのメモリに

乗せられる分だけ乗せられる

LSP作成フレームワーク: pygls

• パイグラス
• LSP補完サーバー�を簡単に実装できる
• ドキュメントの�管理もやってくれる

作った：Flatline LSP

https://github.com/okdshin/flatline_lsp

Editor

LSP Server

Backend Server

• pygls
• documents
• transformers
• tokenize
• generate

• llama.cpp
• model
• kv_cache
• cinatra
• http serve

• neovim
• emacs
• vscode
• jupyter
• ...

引用：https://theconversation.com/so-this-is-how-it-feels-when-the-robots-come-for-your-job-what-githubs-copilot-ai-assistant-means-for-coders-185957

（再掲）

Github Copilotの例

Flatline LSP

• 無料
• 完全ローカル処理
• カスタマイズ自由

​

Github Copilot

• $10/month
• 外部サービスが必要

​

自由を失わずに

AIコード補完で

生産性を上げよう

（苦労ポイント）

補完処理中に

新しい補完リクエストが来たら

今の補完処理は

キャンセルする

​

​

（今後）モデルを

LSPクライアントとして使う

​

• 定義ジャンプでRAGができる
• コード診断（Diagnostics）からのsuggest
• 他のLSPサーバーを利用したLLM推論の投機的実行による高速化

（議論）生成されたコードを使えるか？

• Github CopilotにはDuplication Detection機能がある（150文字以上のコードが対象）
• 自前で同様の機能を追加はできる
• 訴訟された場合はMSが対応してくれる
• ほとんどの場合、明らかに問題なさそう
• 例えば1行単位の補完にするのはどうか？