Laboratory of Mobile Agricultural Chemicals Searcher
携帯農薬検索実験室

研究会

  ツリー表示 ┃スレッド表示 ┃一覧表示 ┃トピック表示 ┃番号順表示 ┃検索  
58 / 114 ツリー <前へ | 次へ>

〔411〕農薬登録情報ダウンロードへの要望を! Hidemi Oya (06/07/28 10:32)
〔444〕Re:農薬登録情報ダウンロードへの要望を! Hidemi Oya (06/08/16 0:20)
〔507〕レンタルサーバでの xls->csv 変換 Hidemi Oya (06/10/24 9:46)
〔512〕Re:レンタルサーバでの xls->csv 変換 Hidemi Oya (06/10/26 21:42)

〔411〕農薬登録情報ダウンロードへの要望を!
 Hidemi Oya WEB  (06/07/28 10:32)

引用なし
    2週間ほど前に、農薬検査所に [#365] に書いたような内容の要望を出しました。ようやく返信が来て、
(1) イミノクタジン等の塩違いの有効成分が別種と見なされないように、データに有効成分の種類を追加する
(2) 製剤毒性に関しては現在導入を検討中なのでしばらく時間が欲しい
ということでした。
 が、CSV + ZIP 圧縮によるデータ提供については、ダウンロードページ
> 但し、xls形式ファイルが使用できない表計算ソフトまたはデータベースソフトの場合は、csv形式ファイルでの対応も可能ですので、その旨ご連絡ください。
と書いてあるにもかかわらず、今のところ強い要望がないので対応の予定はない(必要に応じて適宜対応する)とのことでした。

 CSV 形式によるデータ提供に関しては、
(1) Excel データよりデータサイズが小さくなる
(2) Excel 以外のソフトでデータコンバートの時間が不要になる
という利点があります。
 現行データは 5MB 近くあるので、ISDN 回線等ナローバンドではどんなに条件が良くてもダウンロードに 10 分以上かかります。また、ACFinder では Excel データを CSV に変換する部分でそれなりに時間がかかっています。CSV 形式で提供されるようになれば、これらをかなり短縮することができます。
 CSV は、Excel を含めて各表計算ソフトで標準対応していますので、CSV だけの提供でも利用にあたって特に問題はありませんが、Excel と両方提供してもらうのが良いでしょう。

 ZIP 形式の圧縮は、WindowsXp を含めて一般的な OS のほとんどが標準対応しており、特に解凍ソフトを用意することなく誰もが使えることが利点です。また、perl や PHP で使える解凍ライブラリがありますので、ウェブアプリの作成がしやすくなります。
 逆に、LZH 形式ではローカルデータとして使用する際も別途解凍ソフトを用意する必要がありますし、ウェブアプリを作成する際もレンタルサーバ等で CGI やサーバサイドスクリプトを利用した解凍ができません。圧縮率も大差ないので、LZH 形式のメリットは皆無です。

 ということで、農薬検査所のご意見・お問い合わせ窓口から、下記のような要望をしてくださるようお願いします。

----------------------------------------------------------
表題:農薬登録情報ダウンロードについて

 農薬登録情報ダウンロードのデータ形式について、現行の Excel + LZH に加え、CSV + ZIP による提供を希望します。

(1) CSV 形式によるデータ提供
 Excel データはサイズが大きいため ISDN 等のナローバンドではダウンロードに時間がかかり、さらに Excel 以外のソフトで利用する際に変換に手間や時間がかかるので改善して欲しい。

(2) ZIP 形式による圧縮
 ZIP 形式は WindowsXp を含めて一般的な OS のほとんどが標準対応しており、特に解凍ソフトを用意することなく誰もが使えるほか、Windows 以外でも自動ダウンロード・自動解凍ソフトが作りやすくなるので改善して欲しい。

〔444〕Re:農薬登録情報ダウンロードへの要望を!
 Hidemi Oya WEB  (06/08/16 0:20)

引用なし
    ACFinder 060815 版で、ACFinder 側のデータ更新速度は非常に速くなりました。しかし、せっかく ACFinder 側が速くなっても、農薬検査所の提供してくれるデータサイズが小さくならないことには、データのダウロード速度の短縮はできません。
 現状では5つの lzh ファイルで合計 5MB もあります。ブロードバンドならほんの数秒ですが、農協の支店など ISDN しか来ていないようなところでダウンロードするとフルスピードの 8KB/sec でダウンロードできたとしても 10 分以上(一般的な条件では 15 分程度)かかってしまいます。これでは、とても実用的とはいえません。
 データを Excel 形式のファイルではなく、CSV 形式のファイルにして、5つまとめて zip 圧縮すると 1.1MB 程度にまでファイルサイズを削減できます。これなら ISDN の一般的な条件でも3分くらいでダウンロードできますから、なんとか我慢どころです。

 ACFinder を使いたい、あるいは使ってもらいたい純農業地帯ほど、ADSL は NTT 局舎から遠すぎて使えないとか、光はまだ来ないといった状況で、ブロードバンド環境は整備されていません。てなわけで、皆さん、是非 [#411] の要望を農薬検査所に送ってくださるようお願いします。

〔507〕レンタルサーバでの xls->csv 変換
 Hidemi Oya WEB  (06/10/24 9:46)

引用なし
    先月、薬検に再度 CSV + ZIP 形式でのデータ提供をお願いしましたが、今度はほかにも要望はあるがいちいち対応できないという返事でした。CSV で提供すると書いてあるにもかかわらず、まったくやる気はなさそうです。

 しょうがないので、XREA の CRON ジョブで、自動的に
(1) 更新された XLS+LZH のダウンロード
(2) LZH の解凍
(3) XLS->CSV 変換
(4) CSV の ZIP 圧縮
をやらせようと思い、ここ1か月ほどいろいろ試してました。(1), (2), (4) は簡単にできたんですが、XLS ファイルがでかすぎるせいで (3) がどうしてもうまく行きません。perl の Spreadsheet::ParseExcel は時間がかかりすぎてダメ(XREA の時間制限内で処理できない)。PHP の Excel_Reader は、perl の ParseExcel よりは速いけど条件によって時間制限にひっかかることがあるのと、XREA のメモリ制限からかうまく読めない場合があってやはりダメ。gcc でコンパイルされた xlhtml なら使えるかなと思ったんですが、変換時間は高速ですが、登録適用部二・三のデータが正常に読めない(XREA のメモリ制限によるものか、あるいは xlhtml の仕様によるものか?)。
 …ってことで、今のところ八方ふさがりです。とりあえず、PHP でメモリを使わない専用リーダーを作成中ですが、道のりは遠そうです。

>s_kobayashi さん
 メモリが自由に使える環境で、xlhtml 0.5 で 登録適用部二.xls, 登録適用部三.xls が HTML に正常に変換できるかどうかご確認いただけませんか?

〔512〕Re:レンタルサーバでの xls->csv 変換
 Hidemi Oya WEB  (06/10/26 21:42)

引用なし
   > メモリが自由に使える環境で、xlhtml 0.5 で 登録適用部二.xls, 登録適用部三.xls が HTML に正常に変換できるかどうかご確認いただけませんか?
 10/18 登録反映分のデータでは、登録適用部一.xls, 登録適用部三.xls の2つが変換できませんでした。
 また、必ずしも大きなファイルが変換できないというわけでもないので、Windows 版の xlhtml 0.4 で試してみたところ、同様に登録適用部一.xls, 登録適用部三.xls が変換できませんでした。ってことで、XREA のメモリ制限の問題ではなく、xlhtml 側に問題がありそうです。
 ただし、変換できないファイルを Excel で読んで保存し直すと、xlhtml で問題なく変換できます。xlhtml だけでなく、薬検のデータの保存方法との相性が悪いってのが真相のようです。

  ツリー表示 ┃スレッド表示 ┃一覧表示 ┃トピック表示 ┃番号順表示 ┃検索  
58 / 114 ツリー <前へ | 次へ>
ページ:  ┃  記事番号:   
(SS)C-BOARD vv3.8 is Free.