Aller au contenu | Aller au menu | Aller à la recherche
vendredi 10 mai 2013
Dans la rubrique PHP / PEAR
Le "problème" avec file_exists() c'est qu'il ne tient pas compte de l'include_path
stream_resolve_include_path() permet de palier à ce problème
if (file_exists([stream_resolve_include_path('monficher')) { .... }
Dans la rubrique Musique, Tv, Ciné, Musées, Cirque
Glasperlenspiel est un groupe d'electrop pop allemand, pas assez connu chez nous.
Le groupe de Carolin Niemczyk et Daniel Grunenberg est tellement peu connu qu'ils n'ont qu'une page sur le wikipedia allemand
Les meilleurs titres sont certainement Echt et Ich bin ich
jeudi 11 avril 2013
Dans la rubrique le monde est fou
Source Twitter / Recherche - javaisuneblague
lundi 28 janvier 2013
Dans la rubrique Général
J'aime une vidéo @YouTube : "FINALS Red Bull Rampage 2012 - Highest level of Mountain Biking" à l'adresse http://youtu.be/AbF6ZZqVMyk?a .
jeudi 11 octobre 2012
Dans la rubrique Mysql
--dump-rows <FILE> dumps rows fetched by SQL source(s) into the specified file, in a MySQL compatible syntax. Resulting dumps are the exact representation of data as received by indexer and help to repeat indexing-time issues.
Si vous ajoutez l'option --dump-rows lors de votre indexation, un fichier sera généré avec un dump sql.
Moi ce qui m'intéresse ici c'est l'entête du fichier
# field 0: ressource_title # field 1: ressource_subtitle # field 2: ressource_description # field 3: ressource_category_name # field 4: ressource_category_description # sql_attr_timestamp = created # attr 0 # sql_attr_timestamp = online_from # attr 1 # sql_attr_timestamp = online_until # attr 2 # sql_attr_uint = display_counter # attr 3 # sql_attr_uint = vote_counter # attr 4 # sql_attr_uint = parent_id # attr 5 # sql_attr_timestamp = indexing_date # attr 6
Je copie ca dans mon code php ca fait un memento parfait.
Alleï tant qu'à faire une astuce de plus
regardez l'attribut n°6
dans mon sql d'indexation j'ai toujours en dernier lieu
now() AS indexing_date \
Ca me permet de donner la date de lecture de l'information. L'index pouvant être vu comme un cache. Cette information est parfois importante ou tout du moins utile
dimanche 26 août 2012
Dans la rubrique Mysql
Si vous avez des tables très grosses qui ne servent qu'à accumuler des données d'état, par exemple un journal ou des tables d'extension de relation 1-1 avec un une fk et de lourdes données texte l'engine ARCHIVE peut-être un bon choix.
En effet, les tables avec engine archive sont très très économes.
Ce n'est pas la première fois que je parle de cela : http://moosh.et.son.brol.be/blog/index.php/2009/02/24/919-mysql-archive-et-partition
J'ai recommence mon test. Je pars sur une table de 2 champs et je la rempli avec 7M d'enregistrements
id int(10) unsigned NOT NULL DEFAULT '0', BlahBlahBienLourd text NOT NULL
En chiffres...
En sql le fichier de donnée occupe 1.5Go.
Je décline la table en plusieurs versions
CREATE TABLE test_myisam () ENGINE=myisam CREATE TABLE test_myisam_with_index () ENGINE=myisam CREATE TABLE test_archive () ENGINE=archive CREATE TABLE test_archive_with_partition () ENGINE=archive PARTITION BY KEY (id) PARTITIONS 10
Les 3 fichiers (frm, MYD, MYI) de la table test_myisam occupent 1.45Go
Les 3 fichiers (frm, MYD, MYI) de la table test_myisam_with_index occupent 1.5Go
Les 2 fichiers (frm, ARZ) de la table test_archive en 10 partitions occupent 272Mo !!
Les 12 fichiers (frm, par, 10x ARZ) de la table test_archive_with_partition en 10 partitions occupent aussi 272Mo !!
Cela me donne une économie de presque 6x. C'est déjà très intéressant. (Ca reste très variable car c'est compressé)
Mais il y a quelque chose de vraiment très gênant. Avec Archive, pas d'index.
Hors je teste avec 7M enregistrements mais ma table réelle compte près de 80M enregistrements. Si je cherche une entrée, même par id. Ca se fera en scan et ca fait mal.
Je cherche un row par son id.
Je n'ai pas compris pourquoi ca va plus vite que sur test_myisam, mais ca reste inacceptable.
Comment garder les avantages d'archive mais pouvoir y chercher une donnée de manière raisonnable ?
La solution : combiner archive avec un partition by key() partitions xxx.
Je refais ma cherche sur un row par son id.
Sur le coup je rajoute une copie de ma table mais avec 100 partitions. (129 secondes pour la remplir sur mon vieux brol)
Premier constat, ça prend beaucoup plus de place : 367Mo. mais j’obtiens mon résultat en 0.33s
Reste à trouver le juste milieu mais la démonstration est faite. Si je reprends ma table de 80M de row avec un partitions 100, je me retrouve alors avec 100 fichiers de 800k rows. Ce qui est très raisonnable pour un scan occasionnel.
Un autre avantage de la combinaison archive + partition.
Dans le cas précédent j'ai choisi un partition by key, donc avec une répartition des row dans l'ensemble des partitions. Si je passe à un partitionnement en range, avec une remplissage séquentiel, on va profiter d'un autre avantage (au détriment du précédent) Imaginez que vous avez 10K insert par jour que vous voulez garder 6mois d'archives La table archive pose problème puisqu'on ne peut pas faire de delete Normalement pour supprimer, il faut créer une nouvelle table et dumper le contenu que l'on veut conserver. C'est fastidieux et en plus cela veut dire que pendant une durée, votre table n'est pas utilisable.
Solution toute trouvée avec les partitions (qui en fait est tout à fait valable sur les autres moteurs que archive)
Je choisi donc un partition by range, soit sur l'id, soit sur une date. Si vous avez un journal, vous avez sûrement un champ date. On fait des partitions basées sur le mois, chaque mois une nouvelle partition. Premièrement un script va périodiquement vérifier qu'il y a au moins 2 partitions vides. Si ce n'est pas le cas, une nouvelle partition est ajoutée.
Ensuite on observe la plus vieille partition, si elle ne contient que des données périmées, on supprime la partition.
Pour supprimer une partition :
ALTER TABLE <tblname> DROP PARTITION <partition_name>
De cette manière vous avez un stockage très léger, une suppression instantanée d'un grand nombre de rows et ce sans charge mysql, ...
En outre vous gardez l'avantage des recherches "rapides" pour autant qu'elles se fasse bien sur le champs choisi pour le partitionnement. Cette solution est à expérimenter car il faut choisir les bonnes bornes, gérer le problème des noms des partitions...
Voici un article qui propose un système de rotations
mardi 26 juin 2012
Dans la rubrique Mysql
Plusieurs fois j'ai déjà parlé de sphinx, mais je me rends compte que je n'ai pas une seule présentation "de base".
Je n'ai pas l'intention de refaire ce qui existe déjà mais je voulais présenter le workflow général.
Je trouverai très chouette que si quelqu'un connait elasticSearch, ou solr, ou autre ..., il fasse de même que je puisse le référencer pour comparaison.
SphinxSearch propose un outil d'indexation : indexer
Cet outil va lire 3 des 4 sections du fichier de configuration
Les index sont de 2 types.
distribués
Une source c'est la définition qui permet d'aller chercher l’information à indexer et une définition de chaque champs.
Ca peut-être une requête SQL sur Mysql ou Posgress
Ou sur un contenu XML.
Le Xml est surtout pensé pour en faire un format d’échange pour en fin de compte pouvoir indexer, tout ce qui peut être transformé en XML.
Même si je ne connais pas très bien lucene et solr, c'est sur le point précédent que ces derniers sont plus fort que sphinx. Ils sont plus adaptés pour indexer des sources hétérogènes, des documents.
Après avoir executé l'indexation on a donc "lu" la source et fabriqués des indexs.
On a un premier niveau pour exploiter ces indexs
search
Celui-ci attaque directement l'index. Sans passer par le service. C'est donc très utile pour tester ses index mais il ne faut en aucun cas envisager une utilisation en production.
En outre, puisqu'il n'utilise pas searchd, il ne permet pas d'utiliser les indexs distribués
On va donc lancer ce service : searchd
Celui-ci va utiliser 2 sections du fichier de configuration.
Le service va charger en mémoire les indexs et les rendre disponible via une api sur un port donné.
Jusqu'à présent j'ai vu 3 clients
Il y en a d'autres puisqu'il y a ruby, c++, perl, Haskell, C#, mais aussi des plugins tout prêts pour Yiiframework, Drupal, Symfony, phpBB, MovableType, MediaWiki, Phorum, Thinking Sphinx, Rails,... le tout à trouver sur la page plugin
Avec le client choisi on va pouvoir interroger l'index, servi localement ou sur le réseau par searchd
On récupère alors une liste d'id (uniques) et la valeur des attributs. (pas les textes)
On peut alors faire une jointure avec la source pour retrouver les données dans leur dernier état.
![[T]](http://static.technorati.com/pix/icn-talkbubble.gif)
||drupal ||MediaWiki ||MovableType ||mysql ||opensource ||Phorum ||php ||phpBB ||posgres ||Rails ||search engine ||sphinx ||Symfony ||Thinking Sphinx ||tuto ||Yiiframework mercredi 20 juin 2012
Dans la rubrique PHP / PEAR
La rtbf titre : "Le 30 juin, nous gagnerons une seconde de vie
En pratique 30 juin prochain, après 23h59m59s, il sera 23h59m60s, avant de passer, la seconde suivante, le 1er juillet à 00h00m00s.
Donc ceux qui ont utilisé des intervalles calculés en secondes, du style 24*60*60 ... ben leur 13h00m00 du 30 juin devient 12h59:59 le 1er Juillet. Pas propre
C'est en fait le même problème que la mauvaise gestion de l'heure d'été, d'hiver et des 29 février.
Donc si vous ne travaillez pas sur une "durée" mais sur une "période", utilisez les bonnes fonctions date de php.
jeudi 7 juin 2012
Dans la rubrique PHP / PEAR
Pour mon premier post depuis un bon bout de temps, je viens avec une question.
Comment organisez vous vos méthodes dans vos classes ?
Et surtout comment réorganisez-vous vos classes ?
Je veux dire faites vous comme moi de bêtes couper/coller ? ou avez-vous une astuce ?
Personnellement, comme j'utilise comme on utilise du ZendStudio et du aptana, ca me plairait bien d'avoir un outil qui afficherait la liste des méthodes et propriétés comme "outline" mais avec lequel il serait possible de faire un drag&drop dans la liste pour que le code se mette à jour pour reproduire cet ordre.
Merci pour vos réponses....
jeudi 29 mars 2012
--dump-rows
Cette option va regénérer un code sql dans une fichier.
Ce code SQL va regénérer une table basée sur nom de la source d'indexation et en y insérant ce qui a été lu par l'indexation.
donc
si j'ai
-
-source ma_source {
(...)
sql_query = "Select id, nom, prenom, age From ma table_source"
}
ca va donner
Une table rows_ma_source
avec 4 colonnes dans la quelle on voit un insert des valeurs récoltées.
mardi 27 mars 2012
Dans la rubrique Mysql
C'est tout simple avec --print-queries on voit directement à l'écran les requêtes SQL qui sont exécutées.
C'est bien pratique pour le debug.
Ca me fait penser à une autre astuce, non spécifique à Sphinx, mais que j'ai commencé à utiliser avec Sphinx.
Dans mes requêtes sql , je met toujours derrière le select un commentaire par exemple
Select /* blablah */ champs1 From matable
Pourquoi ?
pour la reconnaître facilement dans mytop.
Vous ne connaissez pas mytop ? et vous utilisez mysql ?
Faite donc vite un
sudo apt-get install mytop
et lisez ceci : http://wiki.goldzoneweb.info/mytop
Dans la rubrique Mysql
source : http ://sphinxsearch.com/docs/2.0.4/ref-indexer.html
--sighup-each
Problème en indexant plusieurs indexs avec un seul appel ca me donne
indexer --config sphinx.conf --rotate --quiet chunk-1 chunk-2 chunk-3 chunk-4 chunk-5 chunk-6
Il fallait attendre que le chunk-6 soit fini pour que le chunk1 indexé depuis un certain temps soit en ligne. Dommage.
du coup j'avais refait
./indexer --config sphinx.conf --rotate --quiet chunk-1 && ./indexer --config sphinx.conf --rotate --quiet chunk-2 && ./indexer --config sphinx.conf --rotate --quiet chunk-3 && ./indexer --config sphinx.conf --rotate --quiet chunk-4 && ./indexer --config sphinx.conf --rotate --quiet chunk-5 && ./indexer --config sphinx.conf --rotate --quiet chunk-6
indigeste mais ca fonctionne mais indigeste quand même
Grâce à --sighup-each on peut resimplifier ca
indexer --sighup-each --config sphinx.conf --rotate --quiet chunk-1 chunk-2 chunk-3 chunk-4 chunk-5 chunk-6
Donne le même résultat juste avec une option en plus.
dimanche 25 mars 2012
Dans la rubrique Général
mardi 20 mars 2012
Dans la rubrique le monde est fou
vendredi 16 mars 2012
//Depeche mode photographic 1981 - YouTube http://awe.sm/5gCHi (vidéo) 23 hlundi 12 mars 2012
Dans la rubrique PHP / PEAR
suite de mes tweet à propos de php en février
jeudi 8 mars 2012
suite de mes tweet à propos des médias en février
dimanche 4 mars 2012
Dans la rubrique Logiciels
jeudi 1 mars 2012
Dans la rubrique J'aime l'info
mardi 28 février 2012
Dans la rubrique le monde est fou
lundi 27 février 2012
Dans la rubrique PHP / PEAR
samedi 25 février 2012
#thevoicebeDans la rubrique PHP / PEAR
mardi 21 février 2012
Dans la rubrique Général
Par Thomas Gunzig
(republié pour cause de commentaire )
Les propos tenus ici sont sous la responsabilité de leurs auteurs respectifs.
