1 of 24

CALL FOR SUBMISSION

再現可能な論文誌J. Wakateを作ったので投稿してほしい件について

Group2

遠藤優 黒木健 酒井俊輔 杉本竜太 田原沙絵子

2 of 24

  1. 再現可能性問題ーSさんとSさんの事例�酒井

3 of 24

  • 怠惰な学生S
  • 詰められる研究員S

ちゃんとノート取ってないから再現できない気がするんですよね

この結果を再現できないのは、あなたのせい

偉い先生

研究員Sさん

研究員Sさん

いやいや、この論文間違ってる...

いや、それまずいでしょ

4 of 24

論文誌を変えれば�サイエンスが変わる�

We’re the next generation

5 of 24

再現可能な論文誌�J. Wakate

6 of 24

再現可能にするシステム

再現可能にするガイドライン

7 of 24

2. 再現可能にするシステム

黒木

8 of 24

Paper as Code方式=コードで出せない結果は結果にあらず

コード

生データ

論文出力

査読・�リバイズ

発表

9 of 24

(やったことある人向け)要するにKaggle

10 of 24

3. Guideline for authors

田原

11 of 24

心構え

  • PIは、そのラボメンバー全員の再現性担保に責任を負います
  • ラボの先生や先輩は、後輩にコードやデータの管理方法の指導を適切に行う義務があります
  • 几帳面で行うというポリシーを持ってください
  • 再現性の取れない結果は認められません

12 of 24

心構え

PIがラボメンバーの再現性担保の

責任を負います

コードやデータの管理方法の指導をしっかり行いましょう

再現性の取れない結果は認められません!

13 of 24

投稿ガイドライン

実行ログ・versionの記録を必ず残しましょう

環境の記録を取りましょう

コードの整理は定期的に行いましょう

コードとデータは公開を義務とします

再現可能な整理されたコードを残しましょう

14 of 24

4. Why you should submit to J. Wakate

遠藤

15 of 24

Be a researcher.

研究者という地位に就きたい・名誉がほしい

この世の森羅万象を明らかにしたい

研究者を目指す理由は違っても、

「再現性の担保」は必要不可欠

16 of 24

Save science, save humanity

For 社会

・研究不正の防止

・業績至上主義からの脱却

For 科学

自身含め研究者が研究を発展させやすい

現象の解明に貢献する

ヒーロー!

「科学の信頼性」を守る

ヒーロー!

17 of 24

その後...

  • 圧倒的成長を遂げた学生S
  • 活躍する研究員S

再現性の鬼に!

俺はなる!!

J. Wakateに投稿する!

この結果の圧倒的再現度!!

すごい...すごすぎる!!

偉い先生

Sさん

研究員S、学生S…

この分野のホープだ!

圧倒的成長ができたのは

J. Wakateのおかげ!

君も今すぐJ. Wakateに投稿だ!

Journal

of

Wakate

成長したなぁ...(感涙)

18 of 24

FIN

19 of 24

投稿ガイドライン

  • コードとデータの公開
    • コードとデータは公開を義務とします
  • 解析
    • コマンド実行ログを必ず残しましょう
    • コードの整理は定期的に行いましょう
    • 環境の記録をしっかり取りましょう
  • ツールの使用
    • ツールを使った場合は、versionの記録を取っておかなければなりません
    • 公開されてから放置されている解析ツールは極力使用しないでください
    • 解析の途中でソフトウェアのバージョンを変えないようにしましょう

20 of 24

Sakai

論文投稿ガイドライン

・公開されてから放置されている解析ツールは極力使用しないこと。

・更新がされていないツールでも評判の良く、長年使用されているものは可

・綺麗に整理したコードをgitに残すこと。 (プログラムの構造もしっかり)

・バージョン管理はしっかりする。

・几帳面で行うというポリシーを持つこと。

21 of 24

section2

  • PIは、そのラボメンバー全員の再現性担保に責任を負います
  • ラボの先生や先輩は、後輩にコードやデータの管理方法の指導を適切に行う義務があります
  • 環境の記録をしっかり取りましょう
  • コマンド実行ログを必ず残しましょう
  • コードの整理は定期的に行いましょう
  • ソースコードは公開することを念頭におきましょう
  • 実験ノートを作業日ごとに書きましょう
  • コードのversion管理方法、データの管理方法がわからない場合は、ラボの先生や先輩に教えてもらいましょう
  • ツールを使った場合は、その日時やversionの記録を取らなければなりません

22 of 24

section2_シャムボードこぴぺ

解析をするときのルール 

  1. 解析の途中でソフトウェアのバージョンを変えない。 

2. ディレクトリの名前と構造からデータの由来がわかるようにする。 

3. ディレクトリの構造を統一する。 

4. ログを残す

5. ブログや他人を当てにしない(高評価のstack overflowスレッドは例外)

6. マニュアルを読む 

7. コードをgitに残す 

8. 中間ファイルは全てでなく、ある程度解析の時間がかかる区間ごとに保存する。

9. 実験ノートとデータを紐付ける

10. 公開されてから三年経たず、更新されていないソフトウェアは信頼できない

23 of 24

section3

  • この論文に掲載されることが、分野における名誉(?)になる

→ この論文に載るためには再現性を取れるような指導をしなければならない

→ 結果優先主義が緩和される

→ PIもラボメンバーも再現性が取れることを重視して働きかける

→ 再現性に問題がある論文は論外というスタンスになる

24 of 24

論文誌として強くなるには

  • IFを上げる
    • いきなりはむずかしい?
  • グラント側で条件をつける
  • プレプリントサービスにするのもあり?