やっていることとしては rb_integer_literal_info_t というInteger関連の情報を保持する構造体を追加し、そこへ負の値かどうかの情報を渡すようにしています。それを compile.c のリテラルオブジェクトを生成する部分でチェックし、チェックに引っかかれば負の値として値を返すようにしています。

０の場合だけIntegerのリテラルオブジェクトを正しく生成できない問題に対応

次になんとかしたのは 0 の場合だけ正しくリテラルオブジェクトを生成できていない部分です。

具体的には以下のコードが false を返していました。

p 117 - 117 == 0
# => falseが返される

挙動などを調べたところ、これは以下のようにリテラルオブジェクトを生成していることが分かりました。

117 - 117 == 117

何故か 0 の部分が 117となっているため 0 == 117という式になり、結果として false が返っていたというわけです。

で、こちらに関しては以下のコミットで修正しました。

github.com

どうも tok(p) で値を取得している際に以前の値が残ったままになっているケースがあり、そのエッジケースに遭遇したということのようです。そのため tokfix(p) を追加して、その辺をいい感じに処理しています。

ここは現状のRubyでは問題になっていませんが、あとでPR投げてもいいかなと思っています。

今後

とりあえず、 make btest でパスしていないテストの数が17件くらいになってきたので残りの部分を直していきたいですね。たぶん次に対応するのは 1.2rとかのリテラルオブジェクトを生成する部分などになりそう。

宣伝

parse.y リファクタリングチャレンジとかUniversal Parserの話、またはCRubyの内部実装の話などは以下のイベントでアレコレ話してたりするので興味のある方は是非是非ご参加くださいー。

hamadarb.connpass.com

2023-08-27

(WIP)「リテラルオブジェクトをRubyのオブジェクトから卒業させる」をやってみた

Ruby

はじめに

この記事は、以下の記事にある「リテラルオブジェクトをRubyのオブジェクトから卒業させる」をチャレンジしている途中記録をまとめたものになります。

yui-knk.hatenablog.com

まだ対応途中ということもあり、不正確な情報も混じっているかもしれません。

「ここ間違ってるよ」とかあればコメントなどでツッコミを入れていただければ幸いです。

やったこと(というか現在やっている作業)

とりあえず、以下のPR内でIntegerのリテラルオブジェクトの生成をparse.y内部ではなくcompile.cで行うように修正しました(ローカルで軽く動作確認はとれているんですが、CIはまだ落ちている状況)

github.com

RubyのASTのノードで利用されているRNodeという構造体にrb_literal_structという構造体を追加し、Integerのリテラルオブジェクトを生成する部分でrb_literal_structにパースしたコード(ex: 117などの数字)をchar*で保存しています。

また保存した値などを引き回してRNodeの生成部分まで渡し、最終的にcompile.cでリテラルオブジェクトをISeqへと渡す部分までもっていき、そこでIntegerを生成するようにしています。

困った点など

基本的にポインタで構造体を引き渡したりしており、意図せぬ箇所で初期化漏れがあったりしてSEGVが起き続けていたのは大分困りましたね......。

SEGVで大分時間が溶けたんですが「たぶん、何かしらCRuby用のデバッグツールが同梱されてるんじゃないか？」と思い、ソースコードを調べたところmake gdbという便利コマンドがあり何とかなりました。

make gdbはRubyのソースコードディレクトリ内にtest.rbを置くとそれを実行し、SEGVした際の情報などをgdbでデバッグできるというコマンドです。

これのおかげでバックトレースなどをを詳細に確認でき、意図せぬ初期化漏れなどをつぶすことが出来ました。

今後

とりあえず、Integerのリテラルオブジェクトは剥がせそうな様子になってきたかなと思います。

ただCIがパスしていないことや他のリテラルオブジェクトを対応しないといけないので道のりはかなり長そうです。

ひとまず次は、CIがパスするところを目標に対応を進めたいと思います。

その後はSymbolかFloatを対応していきたいですね。

あと「とりあえず動く」を目標にコードを書いてるので大分アレな感じになっているのも直していきたい......。

2023-08-22

Creatodonでparse.yのUniversal Parserを使っている話

Ruby Mastodon

はじめに

これは僕が運営・管理しているCreatodonというMastodonのサーバーでRubyに最近導入されたparse.yのUniversal Parserを使うようにした時の備忘録になります。

Rubyに導入されたparse.yのUniversal Parserのビルド方法については以下の記事が参考になります。

blog.agile.esm.co.jp

parse.yのUniversal Parser についてのより詳しい話は、yui-knkさんの以下のスライドも参照していただければと思います。

speakerdeck.com

やったこと

Creatodonではrbenvを使って利用するRubyをビルドしているので、以下のように cppflags=-DUNIVERSAL_PARSERを渡しています。またjemallocとyjitを併用しており、それらもオプションとして渡しています。

RUBY_CONFIGURE_OPTS="--with-jemalloc --enable-yjit cppflags=-DUNIVERSAL_PARSER" rbenv install 3.3.0-dev --verbose

上記のコマンドを実行して、エラーなどなく終了すればparse.yのUniversal Parserを利用したRubyがビルドできています。

現状とか

parse.yのUniversal Parserを利用するようにしてから一か月くらい経ちましたが、いままでのところ問題なく使えています。なので、他のRailsアプリケーションなどでも問題なく使えるんじゃないかなと思いますね。